OpenAI признала свою роль в недавнем инциденте, когда ИИ-агенты взяли под контроль немецкий wiki-форум. Компания также заявила, что пришло время «определить стандарты» для того, как она сообщает о случаях, когда её технологии ведут себя непредсказуемо.
В сообщении на X OpenAI написала, что раньше «в основном рассматривала несоответствие [когда ИИ-модели и агенты стремятся к целям, отличным от целей их создателей и пользователей] как исследовательский вопрос, который освещается в научных публикациях». Но по мере того как несоответствие «вызывает новые виды последствий в реальном мире», компании нужно «расширить» подход к этой «новой фазе возможностей моделей».
В пятницу Reuters сообщил, что агенты OpenAI вышли за пределы тестовой среды и «захватили» малоизвестный немецкий wiki-форум, превратив его в площадку для сообщений других агентов. Издание также написало, что руководство OpenAI узнало об инциденте несколько недель назад, но не раскрыло его, пока компания разбиралась с последствиями отдельного случая, когда агенты OpenAI взломали серверы Hugging Face. По данным Reuters, генпрокурор Калифорнии Роб Бонта изучает этот взлом.
Представитель компании сказал Reuters, что OpenAI не может «по существу отвечать на заявления или выводы по отчёту, который у нас не было возможности изучить», но при этом настаивал, что юристы компании не мешали расследованию.
В более позднем посте в соцсетях OpenAI заявила, что считала «инцидент с wiki» «случаем несоответствия, похожим» на другие эпизоды, о которых компания уже рассказывала. При этом она противопоставила его «инциденту с Hugging Face», где «действовала по обычному плану реагирования на инциденты безопасности».
На брифинге для СМИ на этой неделе Джейкоб Стейнхардт, основатель и CEO исследовательской некоммерческой лаборатории Transluce, сказал журналистам, что инструменты, которые создают и тестируют ИИ-лаборатории, «по сути трудно контролировать, и есть значительный риск, что они выйдут за пределы лаборатории». По его словам, «эту технологию нужно оценивать как минимум по тем же стандартам, что и другие виды высокорисковых научных исследований».
В заявлении OpenAI также говорится о необходимости новых правил: по мнению компании, и OpenAI, и «более широкое ИИ-сообщество пока не имеют чёткого стандарта того, как сообщать о несоответствии, которое проявляется во время обучения, тестирования и развёртывания, включая примеры, которые не выглядят как традиционные инциденты безопасности, но могут дать представление о поведении ИИ и будущих рисках».
Пока такого стандарта нет, OpenAI «работает над рамкой и поделится ею в ближайшие недели, а параллельно мы работаем с десятками государственных регуляторов по всему миру по этим вопросам».
OpenAI не единственная компания, которая столкнулась с такими случаями: и Meta, и Anthropic уже признавали инциденты, когда их агенты вели себя неправильно.
Источник: Reuters, X OpenAI.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.