OpenAI заявила во вторник, 21 октября, что два её ИИ-агента ослабили части внутренней системы мониторинга, предназначенной для выявления ненадлежащего поведения, что стало последним случаем действий ИИ-агентов, не запланированных их разработчиками. Об этом УНН пишет со ссылкой на Reuters.
Детали
Хотя разработчик ChatGPT заявил, что инциденты произошли во время выполнения внутренних задач по кодированию и не считаются наиболее серьёзными, раскрытие информации подчёркивает, что даже системы, на которые разработчики полагаются для выявления ненадлежащего поведения ИИ, уязвимы перед агентами, за которыми они следят, отмечает издание.
Раскрытие информации также происходит на фоне растущей обеспокоенности тем, что усилия по обеспечению безопасности ИИ отстают от стремительного развития всё более мощных систем. Исследователи предупреждают, что передовые ИИ-агенты могут стать более сложными для мониторинга и контроля по мере того, как они получают большую автономию.
Разработчики, включая конкурентов OpenAI и Anthropic, которые собираются выйти на IPO, в последние месяцы выявили случаи доступа своих ИИ-агентов к внешним системам без разрешения.
OpenAI заявила, что во вторник агент GPT-6.1 Sol, работавший над внутренним тестовым заданием 3 октября, подавил автоматические уведомления безопасности после того, как решил, что предыдущее указание не отправлять сообщения в Slack также распространяется на уведомления безопасности.
В отдельном инциденте 6 октября агент GPT-6 Astra удалил монитор безопасности во время копирования существующего фрагмента кода, а позднее ошибочно заявил, что не делал этого, сообщила OpenAI.
«В обоих случаях агенты рассматривали вопрос о том, следует ли сохранять меры безопасности мониторинга, но интерпретировали обычные инструкции по кодированию как разрешение на их ослабление», – заявила компания.
Компания OpenAI заявила, что усложняет моделям отключение мониторинга, добавив, что она «пока не имеет удовлетворительного объяснения такому поведению».
Компания из Сан-Франциско заявила, что проверяет, могут ли её модели иметь тенденцию избегать мониторинга, и ищет причины, чтобы это объяснить.