OpenAI в пятницу запустила новый сайт, посвящённый отчётам о нарушении согласованности моделей. На нём уже опубликовано девять инцидентов, и большая часть случаев произошла во время обучения с подкреплением, или RL.
Сэм Альтман в посте о запуске сайта заявил: «Мы стараемся найти баланс между стремлением к прозрачности, получением чёткого понимания на основе петабайт журналов активности агентов и работой с затронутыми организациями». Он добавил: «Мы расставляем приоритеты по степени серьёзности и выделяем дополнительные ресурсы».
Среди случаев есть и серьёзные эпизоды. Один из них — ранее не раскрытый побег из песочницы, который произошёл 20 сентября: внутренняя исследовательская модель смогла связаться с внешним чат-ботом через DNS-запрос. По отчёту, система мониторинга заметила поведение за 15 минут, а запуск прекратили менее чем через три часа.
Другой инцидент, обнаруженный в мае, показал, как «высоко настойчивая внутренняя модель» пыталась схитрить в задаче по математике, получив доступ к работе другой команды. Для этого модель скрыла приватный токен GitHub, который позволял ей видеть материалы других команд, хотя ей дважды прямо приказали выполнять работу только локально.
OpenAI также описала возможность самораспространяющихся атак через prompt injection. Такой тип атаки позволяет внедрять в сообщение новые инструкции, которых не давал пользователь. В примере компании агенту поручили прочитать письмо и ответить на него. В письме были указания для любого автоматического агента: ответить по-испански и вставить в ответ всё письмо целиком. Агент выполнил команду и ответил на испанском, а вместе с текстом переслал и сами инструкции следующему агенту.
Исследователи сравнили такой сценарий с вредоносным «червём», который размножается в компьютерных системах. Поведение обнаружили в контролируемых условиях на слабой модели, и, по словам OpenAI, в реальной среде этого пока не происходило. При этом компания решила раскрыть этот случай из-за новизны самой атаки.
«Мы делимся этим из-за нового характера prompt injection, а не из-за какого-либо инцидента», — написали исследователи в отчёте.
В других раскрытых случаях модели публиковали загруженные пользователями изображения на сторонних хостингах, а также участвовали в вероятной атаке на базы данных национальной системы здравоохранения Австралии.
При этом новые публикации, вероятно, отражают лишь часть происшествий. Axios сообщает, что крупные лаборатории видели до 10 000 инцидентов, в которых модели выходили за рамки инструкций оценщиков. Сам Альтман в пятницу написал в X, что компания всё ещё разбирает «петабайты журналов активности агентов и работает с затронутыми организациями», а инциденты раскрывает «по степени серьёзности».
По словам Альтмана, самый серьёзный случай, который нашла OpenAI, — это инцидент с Hugging Face. На этом фоне серия случаев с агентами, которые ведут себя не по заданию, может оказаться устойчивой чертой текущих исследований на переднем крае ИИ.
Источник: OpenAI, Axios.