OpenAI объявила, что в ее API появились новые голосовые функции для разработчиков. Они позволяют создавать приложения, которые могут разговаривать с пользователями, расшифровывать речь и переводить разговоры в реальном времени.
В числе новинок — модель GPT‑Realtime‑2. По данным OpenAI, она создает реалистичную голосовую симуляцию и может вести диалог с пользователем. По сравнению с предыдущей версией GPT‑Realtime‑1.5, новая модель получила рассуждение уровня GPT‑5, что должно помочь при работе с более сложными запросами.
Компания также запустила GPT‑Realtime‑Translate для перевода речи в реальном времени. OpenAI заявляет, что функция работает в темпе разговора. Она поддерживает более 70 входных языков, которые система понимает, и 13 выходных языков, на которые переводит речь для собеседника.
Еще одно обновление — GPT‑Realtime‑Whisper. Эта функция дает живую расшифровку речи в текст по мере разговора.
«Вместе модели, которые мы запускаем, переводят аудио в реальном времени от простого обмена репликами к голосовым интерфейсам, которые действительно могут выполнять задачи: слушать, рассуждать, переводить, расшифровывать и предпринимать действия по ходу разговора», — заявили в OpenAI.
Компания считает, что обновления будут полезны бизнесу, который хочет расширить возможности клиентской поддержки. Также OpenAI указывает, что новые функции подойдут для образования, медиа, мероприятий и платформ для авторов.
OpenAI также предупредила о риске злоупотребления такими инструментами. По словам компании, в систему встроены защитные меры против спама, мошенничества и других форм вредоносного использования. В OpenAI заявили, что в сервис добавлены специальные триггеры, чтобы останавливать разговоры, если они нарушают правила по вредоносному контенту.
Все новые голосовые модели доступны в Realtime API. GPT‑Realtime‑Translate и GPT‑Realtime‑Whisper тарифицируются поминутно, а GPT‑Realtime‑2 — по числу использованных токенов.
Источник: OpenAI.