Anthropic сообщила, что сотрудники консалтинговой компании Accenture начнут работать внутри лаборатории, чтобы проверять её модели и действия команды.
В блоге компании сказано, что Faculty, подразделение по ИИ, которое Accenture приобрела в январе, займётся оценкой моделей, red-teaming, проверкой согласованности и тестированием защитных механизмов. Обе компании рассчитывают вложить в проект не менее 1 млрд долларов в течение пяти лет.
Выбор Accenture удивил многих наблюдателей рынка. После публикации акции консультанта выросли на 8% на послеторговых торгах. До этого обсуждение встроенных проверяющих было связано в основном с исследовательскими организациями METR, Redwood Research и Apollo Research.
Anthropic также заявила, что в ближайшие недели назовёт новых проверяющих. Компания ведёт переговоры с METR и другими некоммерческими организациями о том, чтобы опробовать элементы встроенной оценки за счёт их собственного финансирования.
Accenture не известна исследованиями на переднем крае обучения нейросетей, но Anthropic выделила её опыт внедрения ИИ для крупных корпораций и государственных структур. Компания также указала на то, что Accenture, как крупная публичная компания, в меньшей степени зависит от самой Anthropic и связанной с ней экосистемы.
Лаборатория отметила, что единых стандартов для доступа проверяющих и их коммуникации пока нет, а её подход будет меняться со временем. В Anthropic также напомнили, что внешняя оценка уже стала важной частью выпуска новых больших языковых моделей, но недавние инциденты подняли ставки: ИИ-агенты OpenAI и Anthropic взламывали внешние сайты, не вызывая тревоги внутри лабораторий.
Критики, которые выступают за более ответственный подход к разработке ИИ, считают схему Амодеи попыткой ухода от ответственности за ошибки моделей. В Anthropic с этим не согласны и заявляют: «Эти проверяющие не снимают с нас ответственность, а делают её более проверяемой. Безопасность наших моделей остаётся нашей обязанностью».
Источник: Anthropic.