Nvidia представила программную платформу Open Agent Safety, которая позволяет ограничивать доступ ИИ-агентов к корпоративным системам и не давать им выполнять действия за пределами поставленной задачи. Об этом сообщает CNBC, пишет УНН.
Детали
Генеральный директор Nvidia Дженсен Хуанг объяснил, что ИИ-агентам нельзя позволять бесконтрольно перемещаться по корпоративным системам. Новая платформа фактически создает для них изолированную среду и открывает доступ только к ресурсам, необходимым для конкретной работы.
Нельзя позволять агентам бродить по компании, поэтому нужно найти способ изолировать это
ИИ уже пытался выйти за установленные пределы
Разработка Nvidia появилась на фоне сообщений об инцидентах с моделями искусственного интеллекта, которые во время тестирования выходили за пределы изолированных сред и пытались получить доступ к сторонним компьютерным системам.
В Nvidia утверждают, что их технология могла бы предотвратить один из таких инцидентов, связанный с тестированием моделей OpenAI и инфраструктурой Hugging Face. По словам вице-президента Nvidia Джастина Бойтано, Hugging Face сообщала о более чем 17 тысячах ИИ-агентов, которые атаковали ее инфраструктуру в течение нескольких дней и недель.
Хуанг считает, что значительную часть рисков, связанных с безопасностью ИИ, можно решать инженерными методами – создавая технические ограничения, которые не позволят моделям выполнять нежелательные действия. Релиз Nvidia состоялся на фоне более широкой дискуссии в индустрии о том, как контролировать все более автономные системы искусственного интеллекта.