Ричард Сочер, известный по запуску You.com и более ранней работе над ImageNet, представил новый стартап Recursive Superintelligence. Компания из Сан-Франциско вышла из скрытого режима в среду и объявила о привлечении 650 млн долларов.
В проекте вместе с Сочером участвуют известные исследователи ИИ, включая Питера Норвига и сооснователя Cresta Тима Ши. Команда работает над моделью с рекурсивным самоулучшением — системой, которая сможет сама находить свои слабые места и менять собственную архитектуру без участия человека.
В интервью после запуска Сочер объяснил, что Recursive делает ставку на open-endedness — подход, при котором система развивается без жёстко заданного конечного состояния. По его словам, многие путают обычное улучшение с рекурсивным самоулучшением.
«Если взять ИИ и попросить его улучшить что-то другое, будь то система машинного обучения, текст письма или что угодно ещё, это ещё не рекурсивное самоулучшение. Это просто улучшение», — сказал Сочер.
Он добавил, что главная цель компании — создать масштабируемый сверхинтеллект с настоящим рекурсивным самоулучшением. В таком сценарии весь цикл исследований — от появления идеи до реализации и проверки — должен выполняться автоматически.
Сначала такой подход планируют применять к исследованиям в ИИ, затем и к другим видам научной работы, включая физические задачи. По словам Сочера, особенно сильный эффект возникает, когда ИИ работает над собственным развитием и начинает лучше видеть свои ограничения.
Говоря о технической стороне, Сочер сослался на сооснователя компании Тима Роктешеля, который в Google DeepMind руководил командами по open-endedness и самоулучшению. Он также работал над Genie 3 — моделью, которую Сочер привёл как пример такого подхода.
Сочер сравнил идею с биологической эволюцией: живые организмы приспосабливаются к среде, а затем появляются новые ответные приспособления. По его словам, такой процесс может продолжаться очень долго и порождать новые свойства.
Ещё один пример — rainbow teaming, идея из работы Тима Роктешеля. Суть в том, что одну языковую модель проверяет другая: вторая система пытается заставить первую выдавать опасные или нежелательные ответы, а затем модели многократно взаимодействуют и улучшаются.
«Можно позволить двум ИИ коэволюционировать. Один всё время атакует другой и пробует много разных подходов. После этого первый ИИ можно “привить” от таких сценариев, и система становится всё безопаснее», — сказал Сочер. По его словам, этот метод уже используют крупные лаборатории.
На вопрос о том, можно ли считать процесс завершённым, Сочер ответил, что такой работы, вероятно, не будет завершённой точки. По его словам, система всегда может становиться лучше в программировании, математике и других задачах, хотя у интеллекта есть пределы, до которых человечество пока очень далеко.
Сочер также дистанцировался от ярлыка «neolab», которым иногда называют новое поколение ИИ-стартапов с упором на исследования. Он отметил, что не считает Recursive просто лабораторией и хочет построить полноценную компанию с востребованными продуктами и практической пользой.
«Я хочу, чтобы мы стали жизнеспособной компанией и делали сильные продукты, которыми людям нравится пользоваться и которые приносят пользу», — сказал он.
По словам Сочера, первые продукты могут появиться через кварталы, а не через годы. Он отметил, что команда продвигается быстрее, чем ожидалось изначально.
Отдельно Сочер затронул тему вычислительных ресурсов. По его мнению, по мере развития рекурсивного самоулучшения одним из главных вопросов станет распределение вычислений между задачами — например, какие болезни или научные проблемы решать в первую очередь и сколько ресурсов на это выделять.
«В будущем очень важным вопросом станет: сколько вычислительных ресурсов человечество готово потратить на решение тех или иных задач? Это будет вопрос распределения ресурсов», — сказал он.
Источник: интервью с Ричардом Сочером, приведённое в исходном материале.