Baseten в среду представила новый стандарт инфраструктуры безопасности вместе со своим исследовательским подразделением Base Labs. Компания также объявила о партнёрстве с Hugging Face и Goodfire AI для создания систем оценки и мониторинга безопасности открытых моделей.
Анонс появился на фоне споров о безопасности open-weight моделей, которые можно сделать опасными, если убрать встроенные защитные механизмы с помощью техники abliteration. Масштаб проблемы уже заметный: Hugging Face, где размещаются открытые ИИ-модели, сейчас указывает более 6000 abliterated-моделей.
Base Labs, исследовательская группа Baseten, созданная в начале этого года, займётся разработкой и публикацией методов обучения и мониторинга открытых моделей. В компании называют будущую работу «стандартом» для таких моделей: он должен быть прозрачным и встроенным в процесс обучения и развёртывания, а не добавляться позже.
«Мы считаем открытость преимуществом для безопасности ИИ», — заявила компания в X. «Открытость даёт больше видимости в поведении моделей и, что особенно важно, больше возможностей превратить исследования по безопасности в практические и прозрачные механизмы контроля, чем в случае закрытого исходного кода».
Технические детали партнёрства компании пока не раскрыли. При этом Goodfire в ответе на пост Baseten сформулировала цель так: «Безопасность должна быть встроена в открытые модели и обеспечиваться теми, кто их предоставляет». Goodfire специализируется на том, чтобы делать решения ИИ более понятными и объяснять, как модели принимают решения.
Baseten, которая предоставляет сервис для ИИ-инференса, в июне привлекла $1,5 млрд в рамках раунда Series F, после чего её оценка выросла до $13 млрд. Goodfire AI также получила крупное финансирование: в начале года компания привлекла $150 млн в раунде Series B под руководством B Capital для развития платформы интерпретируемости моделей.
В дальнейшем Baseten открывает доступ к фреймворку для более широкого сообщества разработчиков. «Вместе мы строим экосистему открытых моделей, которые безопасны и доступны для всех», — отметила компания.
Источник: The Verge.