Стартап Perceptron, основанный двумя бывшими исследователями Meta, представил модель компьютерного зрения Isaac 0.5 для промышленной автоматизации. Компания заявляет, что система помогает машинам «воспринимать, рассуждать и действовать» в физической среде, включая склады и производственные площадки.
Perceptron была основана в ноябре 2024 года. Стартап разрабатывает передовые модели зрения, которые должны улучшить взаимодействие машин с окружающей физической средой. Isaac 0.5, по словам создателей, подходит для роботов с визуальной навигацией и позволяет извлекать визуальные данные из видео, записанного такими устройствами.
Компания также выпустила Isaac 0.5 как open-weight-модель. Это значит, что её параметры и материалы обучения доступны для проверки.
Ранее Perceptron привлекла $21 млн в инвестиционном раунде под руководством Bessemer Venture Partners. Компанию основали Армен Агажанян и Акшат Шривастава, которые прежде работали в подразделении Meta Fundamental AI Research (FAIR).
В компании считают, что текущие системы Physical AI ставят рынок перед ограниченным выбором. «Сегодня Physical AI навязывает ложный выбор: либо универсальные базовые модели, которым для каждого экземпляра нужно несколько выделенных облачных GPU, либо узкие модели, которые решают задачу восприятия или управления, но не обе сразу», — заявили в Perceptron.
Агажанян и Шривастава говорят, что главное отличие Isaac 0.5 от существующих решений — универсальность. Модель не создавалась под одну повторяющуюся задачу и, по их словам, может работать гибко в зависимости от конкретной среды и ситуации.
В разговоре с журналистом Шривастава предложил взять простой пример — сортировку коробок. «Представьте, что робота прямо сейчас запускают для сортировки посылок. Какие задачи ему нужно выполнить?» — сказал он.
Даже такая базовая операция состоит из нескольких этапов. Роботу нужно прочитать этикетку, оценить расположение коробок в пространстве, выбрать нужную коробку, а при работе с серией объектов — ещё и определить порядок захвата.
По словам компании, её ПО помогает роботу проходить через все эти этапы. Инструменты для выполнения отдельных задач на рынке уже есть, однако программ, которые делают это гибко в одном контуре, заметно меньше.
Для обучения Isaac 0.5 использовались большие массивы видео. Perceptron сообщает, что модель обучали на 1 млн часов general video, чтобы алгоритм распознавал конкретные сцены, визуальные паттерны и сценарии. Компания также активно использовала ego video — видео с точки зрения человека, записанное, например, на GoPro или носимую камеру, — и UMI video, где повторяющиеся действия человека помогают обучать ИИ движениям.
Источники обучающих данных компания не раскрывает. При этом Шривастава заявил, что Perceptron «внутри компании собрала наборы данных петабайтного масштаба для разных модальностей: изображений, текста, видео и вплоть до роботических траекторий».
Perceptron считает, что её технология может применяться в разных секторах. В этот список входят производство, логистика, складские операции, безопасность, мобильность, медиа и развлечения.
«Ничего подобного на рынке по сути нет, — сказал Агажанян. — Мы очень воодушевлены этим».
Источник: исходный материал о запуске Isaac 0.5 и комментариях Perceptron.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.