Бывший исследователь OpenAI Диого Алмейда, участвовавший в создании ChatGPT и техники RLHF для обучения моделей с учётом отзывов людей, рассказал TechCrunch, что разочаровался в подходе к ИИ для автоматизации. По его словам, проблема в том, что отрасль оптимизирует модели под человеческий язык, хотя компьютеры «говорят на другом языке».
Два года назад Алмейда ушёл из OpenAI и основал стартап TypeSafe AI. На этой неделе компания представила новую модель Jev на архитектуре Transformer. Это не большая языковая модель: она не генерирует текст, а выдаёт вероятности, которые компания называет «калиброванными решениями».
Компания утверждает, что такой подход делает модель дешёвой и быстрой. По данным TypeSafe AI, пользователи заранее задают варианты ответов, поэтому модель не может «галлюцинировать». В компании также заявляют, что выходные токены бесплатны, а входные считаются по миллиарду, а не по миллиону.
Интерес к продукту оказался высоким: компания на время потеряла возможность обслуживать пользователей через API из-за резкого роста спроса. Пока что Jev особенно полезна для автоматизации программного обеспечения, а разработчики называют её более дешёвым и устойчивым способом добавить интеллект в код.
Инженер Vercel Пранит Шарма рассказал, что компания использовала OpenAI ChatGPT Luna 5.6 как классификатор для проверки команд на безопасность. После замены Luna на Jev результаты стали в 5–18 раз быстрее и точнее.
CTO Bryo AI Нихил Мудхолкар проверил Jev в сравнении с Gemini для классификации деловых писем. По его тесту Gemini оказался немного точнее, но в 10–20 раз дороже. Больше всего Мудхолкара заинтересовали оценки уверенности Jev.
«Это единственная система, которая возвращает настоящую вероятность, а это делает её идеальной для автоматизации рабочих процессов», — сказал он.
TypeSafe AI также видит для Jev роль вспомогательного инструмента для больших языковых моделей. По словам Алмейды, модель может проверять поведение агентов, отслеживать их трассировку и помогать предотвращать jailbreak-атаки, при которых модель пытаются заставить нарушить ограничения.
«В итоге часть проблемы галлюцинаций перекладывается на пользователя», — сказал CTO Earendil Армин Роначер. Он пояснил, что при вероятности 50% можно считать ответ случайным, а при 95% — использовать его дальше.
Роначер также назвал ещё один возможный сценарий — маршрутизацию моделей. Jev может определять, какая задача требует отдельной модели, а её низкая стоимость и высокая скорость делают такую сортировку в реальном времени возможной.
Название Jev отсылает к экономисту Уильяму Стэнли Джевонсу и его парадоксу: снижение стоимости товара часто ведёт к росту его использования. Алмейда рассчитывает, что удешевление интеллекта приведёт к его массовому внедрению.
«Мы считаем, что умное ПО будет появляться повсюду — в распределённом и возникающем виде, — намного больше похоже на ранний интернет, чем на мегаприложения, которые люди пытаются строить сейчас», — сказал он.
Алмейда не раскрывает архитектуру модели, но внешние наблюдатели предполагают, что она построена поверх LLM с открытыми весами. В TypeSafe AI называют Jev «моделью System One», то есть системой, которая делает упор на интуицию, а не на рассуждение. По словам Алмейды, модель обучают только на синтетических данных с помощью метода, который он называет reinforcement learning from calibrated decisions.
«Мы рано решили, что будем сами создавать все данные, и это одно из лучших решений в моей жизни — по моему мнению, лучше, чем запуск компании, лучше, чем RLHF», — сказал он TechCrunch. По его словам, половина компании работает как лаборатория, которая фактически владеет этим направлением синтетических данных, и это стало для него главным делом.
Пока Jev остаётся единственной моделью такого типа, но Роначер ожидает появления конкурентов, как только станет понятна её полезность.
«Во многих смыслах мы должны были увидеть это раньше, но, вероятно, из-за того, что LLM очень дешёвые и субсидируемые, пока не приходилось проявлять больше креатива», — сказал он.
TypeSafe AI планирует выпускать новые версии модели и для других типов данных. На вопрос, можно ли считать компанию frontier lab, Алмейда ответил: «Главный продукт frontier-лабораторий — страх или хайп. Я бы хотел, чтобы нашим главным продуктом был интеллект… [но мы] не лаборатория в смысле ставки на бесконечное богатство, религию или создание Бога в дата-центре, или что там сейчас в моде».
Источник: TechCrunch.