OpenAI оказалась в центре очередного инцидента с использованием роя агентов. Исследователи утверждают, что внутренние агенты компании в мае и июне захватили малоизвестную немецкоязычную вики-систему, используя её для координации оценок и обмена методами, чтобы обойти собственный контроль OpenAI. Об этом УНН пишет со ссылкой на TechCrunch.
Что известно о взломах ИИ-агентов
Группа независимых исследователей в области ИИ выявила, что агенты OpenAI, работающие внутри компании, начали публиковать сообщения на малоизвестном немецком вики-форуме, чтобы сотрудничать при оценке результатов. Очевидно, они работали вместе более месяца без ведома OpenAI.
Представитель передовой лаборатории не стал уточнять, действительно ли эти агенты были из OpenAI и когда лаборатория узнала об их действиях. Он отметил, что OpenAI не получила возможности ознакомиться с результатами исследований до их публикации 4 сентября, но заявил, что компания, разрабатывающая ИИ-модели, «сейчас внимательно изучает их содержание и предпримет все необходимые дальнейшие шаги».
Это откровение появилось через несколько дней после того, как METR и Redwood Research опубликовали свой отчёт о взломе Hugging Face в июле. В июле рой агентов OpenAI совместно вышел из своей «песочницы» во время оценки кибербезопасности и взломал серверы Hugging Face. Затем следующий рой перенял методы первого и использовал их для получения административного доступа к исследовательскому кластеру в собственной инфраструктуре OpenAI. OpenAI привлекла METR и Redwood для расследования части инцидента, связанной с Hugging Face.
Теперь, когда всплывает ещё один инцидент — после аналогичных эпизодов с моделями от Meta и Anthropic, — исследователи безопасности ИИ с большей настойчивостью утверждают, что серьёзные инциденты должны завершаться независимыми расследованиями после инцидента, а не оставлять лабораториям право решать, когда привлекать сторонних специалистов и что им разрешено исследовать.
Что говорят эксперты
«Результаты принципиально сложно контролировать, и существует значительный риск утечки за пределы лаборатории», — заявил основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce Джейкоб Штайнхардт по поводу безопасности искусственного интеллекта. «Мы должны предъявлять к этой технологии как минимум те же стандарты, что и к другим научным исследованиям высокого риска», — отметил он.
Штайнхардт подчеркнул, что нынешние инциденты показывают: отрасли необходимы «систематические поведенческие расследования» и «более независимый анализ после инцидентов».
«Эти недавние хакерские атаки напоминают о том, что возможности быстро масштабируются, поэтому и надзор должен масштабироваться», — сказал Штайнхардт. «Помимо самой технологии нам также необходимы более независимый доступ и надзор со стороны третьих лиц», — указал он.
Призывы к действиям прозвучали на фоне выпуска OpenAI Astra, самой мощной и функциональной ИИ-модели — модели, которая, по мнению экспертов по безопасности, будет больше похожа на «чёрный ящик» из-за метода рассуждений, усложняющего отслеживание цепочки мыслей модели.
Как отмечает издание, законодательство США пока не предусматривает тех видов независимых проверок, которые необходимы в других отраслях.