Стартап Vals, основанный в 2024 году, говорит, что хочет изменить систему бенчмарков для ИИ-моделей. Компания считает, что старые методы оценки уже не успевают за современными моделями, и это позволяет разработчикам обгонять сами тесты.
За неполные два года Vals успел заметно вырасти. В прошлом году стартап привлёк посевной раунд под руководством 8VC и Bloomberg Beta, а в прошлом месяце — $40 млн в раунде серии A, который возглавила Andreessen Horowitz.
Сооснователю Vals Райану Кришнану 25 лет. Ранее он стажировался в Palantir, а во время учёбы в Стэнфорде работал в Microsoft и в лаборатории искусственного интеллекта университета. Кришнан говорит, что идея Vals появилась из его наблюдений за тем, как бенчмарки отстают от развития отрасли.
«Мы видели, как на рынок быстро выходило много новых, очень сильных моделей, а академические бенчмарки не успевали за этим передовым уровнем», — сказал Кришнан. По его словам, с учётом того, что ИИ внедряется почти во все сферы жизни, нужны тесты, которые подтверждают, что модели действительно умеют делать то, что обещают компании.
На прошлой неделе Кришнан показал офис компании на Фолсом-стрит в Сан-Франциско. Это двухэтажное здание из кирпича, которое сто лет назад было пивоварней. Теперь в нём работают несколько стартапов.
Кришнан отмечает, что раньше оценка ИИ чаще сводилась к абстрактной проверке интеллекта. «Например, знают ли модели достаточно информации, чтобы сдать тест, похожий на экзамен на адвоката?» — сказал он.
Vals строит свою работу иначе. Многие бенчмарки используют открытые тесты, и это даёт компаниям возможность обучать модели прямо под них. Vals не раскрывает свои тестовые материалы публично. Кроме того, компания оценивает не общий уровень знаний, а способность моделей выполнять сложные задачи в конкретных сферах, включая право, финансы и программирование.
«Мы смотрим на реальные последствия работы моделей», — сказал Кришнан. По его словам, компания проверяет, могут ли модели выполнять работу на уровне, сопоставимом с человеческим, в каждой из этих сфер.
Компания также пытается оценивать не только положительные, но и отрицательные последствия. По словам Кришнана, важно понять, что произойдёт, «если эти модели выйдут из-под контроля».
Список проверок Vals расширяется. Помимо более традиционных направлений, стартап работает с бенчмарками для рекурсивного самоулучшения, а также ведёт проекты в сфере психического здоровья, кибербезопасности, биобезопасности и даже в части права вооружённых конфликтов, чтобы понять, как модели применяют Женевскую конвенцию.
За тестирование моделей компании платят Vals. Кришнан сравнивает эту модель с оплатой экзамена SAT через College Board: измерение помогает клиентам находить слабые места и улучшать модели со временем.
Такие оценки всё чаще становятся важным фактором при выборе новых ИИ-моделей. Vals также сообщил, что его выручка сейчас в восемь раз выше, чем год назад.
Штат стартапа тоже быстро растёт. В начале года в компании работали восемь человек, а сейчас — 25. Кришнан сказал, что Vals планирует переехать в более крупный офис и нанять ещё 10–15 сотрудников. Недавно компания также запустила программу по оценке моделей для федеральных ведомств.
Кришнан считает, что такой подход станет важной частью того, как ИИ-компании будут развивать бизнес и выстраивать доверие пользователей. «ИИ-компании начинают выходить на биржу. SpaceX уже стала публичной компанией. Anthropic планирует это на конец года. Я подозреваю, что OpenAI тоже скоро станет публичной. Думаю, по мере того как ИИ-модели будут становиться важной частью экономики и шире распространяться, именно такие бенчмарки и оценки будут определять их использование и станут важной частью того, как компании будут раскрывать данные в отчётности или говорить о будущих инвестициях в ИИ», — сказал он.
Источник: TechCrunch.