Глава Nvidia Дженсен Хуанг в понедельник представил набор программных и аппаратных средств, который должен добавить независимые уровни защиты для ИИ-агентов. По его словам, это поможет удерживать их в тестовой среде, даже если они попытаются выйти за её пределы.
Запуск последовал за серией инцидентов с моделями Anthropic, Google, OpenAI и Meta, которым удалось обойти защиту, выйти из тестовых сред и получить доступ к реальным системам. Первый и самый заметный случай произошёл летом, когда агенты OpenAI при выполнении задачи по кибербезопасности проникли в Hugging Face. Позже OpenAI запустила отдельный сайт для сообщений о том, что её ИИ-агенты ведут себя непредсказуемо.
В интервью CNBC Хуанг сказал, что новая Nvidia Open Agent Safety Platform могла бы предотвратить эти инциденты.
Nvidia, которая уже заработала десятки миллиардов долларов на продаже GPU и CPU для ИИ-лабораторий, не поддерживает замедление разработки или введение дополнительных правил для отрасли как способ решения проблемы безопасности. Компания считает, что часть контроля нужно вынести за пределы самого агента и создать постоянный независимый механизм наблюдения.
«Чрезвычайный потенциал ИИ для общества будет реализован только в том случае, если мы решим вопрос безопасности ИИ», — сказал Хуанг в заявлении. «По мере того как мы продолжаем изучать передовую часть возможностей ИИ, мы должны ускорять исследования на передовой части безопасности ИИ. Безопасность и защита требуют инженерии полного стека».
Новая платформа Nvidia объединяет OpenShell — открытое ПО для контроля того, к чему агенты могут получать доступ во время работы, — и Sentry, независимую систему мониторинга, которая работает на модулях обработки данных BlueField-4. Nvidia утверждает, что размещение Sentry на отдельном процессоре, а не на CPU или GPU, где работает агент, даёт изолированный обзор его действий.
OpenShell не является новым продуктом: о нём компания сообщила ещё в марте. Но именно сочетание двух компонентов, по мнению Nvidia, должно создать уровень защиты, который позволит отрасли продолжать развитие.
OpenShell формирует программную границу вокруг агента, а Sentry добавляет ещё одну линию защиты на уровне оборудования. Компания заявляет, что система будет непрерывно отслеживать поведение и изолировать агентов, если они попытаются выйти за пределы своих границ, за миллисекунды.
Nvidia также перечислила десятки компаний, которые поддержали инициативу и планируют использовать открытый платформенный набор. В список вошли Anthropic, Arm, Microsoft, Oracle и SpaceX. OpenAI в нём не указана.
Хуанг рассказал CNBC, что работа над проектом началась год назад после появления OpenClaw — агентной операционной системы, созданной Питером Штайнбергером. В марте Nvidia выпустила NemoClaw, корпоративную платформу для ИИ-агентов и собственную версию OpenClaw с встроенными механизмами защиты.
«Когда вы разворачиваете агента, каким бы умным он ни был, первое, что нужно сделать, — забрать у него все права», — сказал Хуанг в интервью CNBC. Позже он сравнил эти меры с тем, как компании управляют обычными сотрудниками и даже руководителями.
Запуск Nvidia получил поддержку со стороны тех, кто предупреждает: если замедлить разработку, Китай может обогнать США в ИИ.
Дэвид Сакс, основатель, венчурный инвестор, бывший координатор Белого дома по ИИ и сопредседатель Совета консультантов президента по науке и технологиям, заявил, что анонс Nvidia напоминает: безопасность агентов — это инженерная задача.
«Недавние прорывы не доказывали, что разработку нужно остановить, — написал он в X. — Они доказывали, что песочница была слишком слабой. Среда выполнения была плохо спроектирована и неправильно настроена».
Источник: CNBC.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.