Глава Microsoft Сатья Наделла опубликовал новые мысли о том, как можно повысить безопасность ИИ.
В субботу утром он написал в X, что пришло время «отступить назад и оценить архитектуру доверия» ИИ.
«Мы не можем рассматривать суперинтеллект как набор вложенных черных ящиков и просто принимать или отвергать его рекомендации, ответы и действия», — написал Наделла, использовав термин, который предпочитает администрация Трампа.
По словам Наделлы, такой подход предполагает отделение модели от оболочки, которая управляет ее работой, а также «выведение наружу средств контроля и защитных механизмов». Он также призвал фиксировать «каждое значимое действие модели» с помощью «защищенных от подделки человекочитаемых доказательств» и строить системы, где «уполномоченный человек» всегда может «приостановить или остановить модель во время задачи».
«Мы должны исходить из того, что модель скомпрометирована, и ограничивать ее с самого начала», — сказал он. «Представьте себе это как аварийный тормоз».
Комментарии Наделлы появились на фоне того, что ведущие компании в сфере ИИ все чаще признают случаи, когда им, по сути, не удавалось удержать модели под полным контролем. Это также произошло после того, как глава Anthropic Дарио Амодеи опубликовал план более осторожного развития ИИ.