Microsoft опубликовала новый кодекс поведения для ИИ-моделей. Документ должен задавать рамки безопасной работы систем и ограничивать опасное поведение.
В компании описывают документ как более прикладной, чем недавний призыв главы Anthropic Дарио Амодеи замедлить развитие передовых моделей. При этом он объясняет, какие ценности и запреты Microsoft закладывает в обучение ИИ и как эти правила работают на практике.
В начале кодекса говорится, что в ближайшие десять лет сверхразумные ИИ-системы, вероятно, превзойдут человека почти во всех задачах. «Сдержать, контролировать и согласовать такую мощную силу — одна из самых серьёзных задач, с которыми когда-либо сталкивалось человечество», говорится в документе. Там же добавлено: «Мы должны предельно ясно понимать, зачем мы создаём такие системы и как именно собираемся их контролировать».
Документ описывает общие принципы для моделей Microsoft AI. Они должны помогать людям, а не заменять их, а также ускорять человеческое развитие. Отдельно перечислены ограничения, которые нужны для исполнения этих принципов.
По правилам Microsoft у каждой модели есть собственный кодекс поведения, который важнее предпочтений отдельного пользователя или конкретной задачи. В него входят «абсолютные ограничения», запрещающие кибератаки, создание ядерного оружия и производство дипфейков. Есть и более широкое требование не допускать потери человеческого контроля.
В документе говорится: «Модели MAI не будут использовать адаптивные, обманные, самоподдерживающиеся, сговаривающиеся или иные механизмы, чтобы обходить или срывать человеческий надзор так, чтобы ими больше нельзя было надёжно управлять, изменять или отключать уполномоченными людьми или системами».
Публикация вышла на фоне повышенного внимания к безопасности ИИ. Его усилили несколько инцидентов с автономными агентами, а также внезапная отставка сотрудника Anthropic, который указал на растущий риск того, что ИИ может привести к гибели человечества.
Вместе с Anthropic, OpenAI и xAI Microsoft в целом поддерживает подход, при котором развитие передовых моделей происходит с более осторожным темпом. Отдельно компания выступает за встроенных оценщиков в ИИ-лабораториях.
«Мы приветствуем исследования, фокус и продуманный темп, нужные, чтобы правильно задать согласование как цель дизайна», — написал в сети глава Microsoft Сатья Наделла. «Мы также поддерживаем идеи вроде встроенных оценщиков и более широкие усилия по созданию механизмов, которые сделают это чем-то большим, чем просто разговоры».
Источник: Microsoft, публикация Сатьи Наделлы.