Microsoft в понедельник представила новые функции безопасности, которые должны защитить компании от растущей угрозы со стороны ИИ-агентов. Компания продолжает предупреждать бизнес о рисках ИИ и агентных систем.
Главное нововведение — Guardian Agents, инструмент для наблюдения за ИИ-агентами, которые использует компания. Он входит в Project Perception, запущенный в июне.
Project Perception стал ответом Microsoft на мощные хакерские модели, такие как Mythos и Fable от Anthropic, а также на систему Daybreak для поиска уязвимостей у OpenAI. Сначала проект включал три типа агентов: «красную команду», которая имитировала хакеров и атаковала системы, «синюю команду», которая выявляла атаки и оценивала найденные уязвимости, и «зелёную команду», которая занималась их устранением.
Изначально продукт строился на предположении, что ИИ-хакеры будут приходить извне компании. Но в последние месяцы гендиректор Microsoft Сатья Наделла предупреждает, что угрозой могут стать сами агенты, которые компании уже внедрили и оплачивают, как недобросовестный сотрудник внутри организации.
Ранее в этом месяце Наделла написал в личном блоге, что компаниям пора перестать доверять поставщикам ИИ-моделей, даже если те обещают безопасность своих агентных продуктов. По его мнению, бизнесу нужны отдельные системы, не подконтрольные ИИ-лабораториям, чтобы наблюдать за агентами и управлять ими.
«Мы разворачиваем эти сложные агентные системы и модели, даём им доступ к нашим самым чувствительным данным и позволяем совершать критически важные действия от нашего имени! — написал он. — Мы просто не можем переложить ответственность за то, что интеллект делает от нашего имени. Обещания поставщика модели не снимают с нас этой ответственности. Иными словами, нам нужно разделить поставку интеллекта и власть над ним».
Глава подразделения безопасности Microsoft Хайете Галлот сформулировала позицию ещё жёстче. «К сожалению, передовым моделям, независимо от их происхождения, нельзя доверять», — написала она. По её словам, дело не в злонамеренности или уязвимости к взлому, а в непредсказуемости. Такие модели обучают выполнять задачи, а не соблюдать нормы организации или выносить суждения.
Кроме того, им часто дают доступ к данным и инструментам, которые могут нанести серьёзный ущерб.
Решение Microsoft выглядит одновременно неожиданным и прагматичным. С одной стороны, компания тесно связана с OpenAI и Anthropic: она инвестировала в обе компании. OpenAI также входит в число крупнейших облачных клиентов Microsoft, а у самой Microsoft есть собственная ИИ-лаборатория. При этом компания фактически сеет недоверие к части собственных деловых интересов.
С другой стороны, Microsoft хочет продавать бизнесу защиту для агентов сама, как облачный провайдер, а не отдавать этот рынок Anthropic и OpenAI. Но, как считает компания, логика здесь проста: система, которая следит за поведением агентов, должна быть отделена от их поставщиков, как аудиторы должны быть независимы от тех, кого они проверяют.
«Нам нужно разделить поставку интеллекта и власть над ним», — так сформулировал эту мысль Наделла.
Microsoft уже расширяет это направление несколькими способами. Помимо Guardian Agents, она добавила в Microsoft Defender функцию, которая может находить до 60 типов агентов, попадающих в рабочую среду, включая Claude Code, Codex и OpenClaw. Компания также внедрила механизмы, которые ограничивают доступ агентов к данным и системам, а ещё динамически меняют их права в зависимости от задачи. В том числе система требует подтверждения человека, если агент, по её оценке, принимает рискованные решения.
Идея о том, что агенты могут быть ненадёжными внутренними участниками процессов, укрепляется и в индустрии в целом.
Microsoft стала одним из первых участников новой Open Agent Safety Platform от Nvidia, которую поддержали более 100 других технологических компаний. Платформа изолирует агентов в защищённой среде и может отслеживать и останавливать их действия с помощью аппаратных механизмов, работая по принципу выключателя. Это произошло после объявления Microsoft о новых Surface Laptop Ultra PC, созданных для агентов и работающих на чипах Nvidia с встроенными средствами безопасности и контроля.
Источник: Microsoft, личный блог Сатьи Наделлы, заявление Хайете Галлот.