Компания Block, основанная Джеком Дорси, представила новую голосовую модель из своей исследовательской лаборатории. Она работает локально и, по словам компании, звучит необычно похоже на человека за счёт смеха, пауз и других выражений.
Модель получила название Dessa. В Block заявили, что она обучена только на человеческой речи и использует один GPU NVIDIA. Это full-duplex-модель: она умеет говорить и слушать одновременно, как GPT-Live от OpenAI, который вышел ранее в этом году.
Обычно голосовые модели сочетают с большой языковой моделью для поиска знаний. В Block говорят, что знания Dessa основаны на тех данных для диалога, на которых она обучалась.
В компании заявили: «Мы считаем голос самым естественным способом взаимодействия с интеллектом, поэтому создали Dessa — самую аутентичную full-duplex-модель речи из когда-либо созданных. Разговор с ней ощущается как разговор с человеком… полный эмоций, нюансов, пауз и естественного ритма».
Block также отметила, что современные модели могут звучать неестественно и раздражающе, потому что в цепочке обработки есть текст, который управляет генерацией речи. Многие системы, включая ElevenLabs v4 и Fish Audio Drama 3, используют голосовые теги для передачи эмоций. В Block утверждают, что эмоция встроена в их модель, но не уточняют, используются ли для этого какие-либо теги.
В блоге компании говорится: «Взаимодействие с нынешним голосовым ИИ может просто раздражать. Он превращает ваш голос в текст и выбрасывает огромное количество информации, которую один текст передать не может. Самые мощные ИИ в мире не слышат, что вы чувствуете. Мы считаем это абсурдным, это ухудшает опыт и может быть опасным».
Исследователи компании показали несколько примеров разговоров с Dessa, где у агента менялись голос, ритм речи и эмоции. В одном из диалогов бот сказал, что устал после работы, и в этот момент действительно звучал уставшим.
В другом примере бот говорил о том, что человек делает общение комфортным, и при этом звучал эмоционально, почти срываясь.
Ещё один ролик показывает, как сотрудница Block играет с голосовым ассистентом в игру на угадывание. Модель сразу правильно назвала первый ответ, а со вторым тоже справилась быстро.
В Block сообщили, что модель может работать локально на компьютере потребительского уровня, например на MacBook M4 Max или более мощном устройстве. Публичного доступа к Dessa пока нет. Компания также пригласила специалистов по безопасности проверить модель, вероятно, чтобы оценить случаи, когда голосовой агент может ввести в заблуждение собеседника на другой стороне.
Block работает в сфере финансов и продаёт свои решения малому бизнесу. В Square уже используют голосовой ИИ для обработки заказов. Теперь собственная голосовая модель, работающая на устройстве, может помочь компании запускать больше решений для бизнеса и пользователей при меньших затратах.