ThunderPhone v3 уже доступен. В нём появился Zeus — ИИ-платформа для голосовых ИИ-агентов.Читать о запуске

Технология

Трёхэтапный пайплайн — уже не предел.

Большинство голосовых ИИ-систем работают на одной модели распознавания речи, одной LLM и одной модели синтеза речи — либо на единой speech-to-speech-модели. ThunderPhone задействует в каждом звонке множество моделей, которые перепроверяют друг друга.

Архитектура

На реальных звонках другие стеки дают сбой.
Наш не подводит.

Другие платформы используют трёхэтапный пайплайн или speech-to-speech-модель. В обоих случаях возникают ошибки, из-за которых реальные звонки срываются.

Трёхэтапный пайплайн

Каждый этап доверяет результату предыдущего

  • В расшифровке сохраняется только одна наиболее вероятная версия. Если она неверна, LLM уже не сможет исправить ошибку.
  • Быстрые LLM ошибаются. Рассуждающим нужны секунды на ответ.
  • Жёсткий порядок реплик делает разговор скованным.
Речь в речь

Звучит естественно, но вольно обращается с правилами

  • Ненадёжно работает с инструкциями и вызовами инструментов.
  • В деловых звонках непредсказуемое поведение — это риск.
  • Иногда лучше распознаёт речь, но далеко не всегда.
ThunderPhone

Несколько моделей проверяют друг друга

  • Несколько моделей распознавания речи плюс само аудио — чтобы правильно расслышать звонящего.
  • Быстрая и рассуждающая модели, между которыми система переключается на каждой реплике.
  • Zeus настраивает модели под задачи ваших звонков.

Множество моделей в каждом звонке

Распознаём речь несколькими способами, а затем сверяем версии.

Чтобы звонки работали надёжно, трёх моделей недостаточно — нужно гораздо больше. Мы комбинируем open-source-модели с коммерческими и точечно дообучаем их там, где это помогает.

Распознавание речи

Несколько моделей распознавания речи плюс само аудио

Мы одновременно запускаем несколько моделей распознавания речи, а часто ещё и отправляем аудио напрямую в LLM.

Рассуждение

Быстрая и рассуждающая модели

Для каждой реплики система выбирает, какая модель ответит, исходя из контекста разговора.

Разговор

Шум, разделение голосов, очерёдность реплик

Модели для обработки шума, разделения говорящих и определения начала и конца каждой реплики.

speech-to-speech с резервным контуром

Естественный голос, предсказуемое поведение

Мы объединяем speech-to-speech с параллельно работающими текстовыми моделями.

Пайплайн из 3 этапов неверный ответ

звонящий«Я арендую» (невнятно)
расшифровка«Я — Ренат».
агент«Здравствуйте, Ренат — чем могу помочь?»

ThunderPhone верно с первого раза

звонящий«Я арендую» (невнятно)
подтверждениеТри расшифровки и исходное аудио. Два из трёх вариантов совпадают: «Я арендую».
агент«Понял, значит, вы арендуете».

Точность

Результат подтверждён публичным бенчмарком.

Big Bench Audio проверяет, понимает ли модель сложные вопросы на слух и отвечает ли на них правильно.

99.4%в Big Bench Audio. Второй по величине опубликованный результат и самый высокий среди моделей, достаточно быстрых для звонков в реальном времени.Датасет на Hugging Face ↗

Наши тесты

Тесты на реальных звонках.

Мы тестируем каждую модель для каждого компонента стека на данных реальных звонков, а не по заявлениям поставщиков, и фиксируем её сильные и слабые стороны. Именно на эти результаты опирается Zeus, когда подбирает для вас конфигурацию.

Скоро опубликуем версии наших внутренних тестов.

Тест на реальных звонкахМодель AМодель B
Распознавание имён и чиселсильнеехорошо
Короткие ответы («да», «нет»)хорошосильнее
Скорость ответабыстреемедленнее
Следование длинным инструкциямслабеесильнее

Компромиссы

Для каждого звонка нужен свой подход. Zeus решает, какой именно.

Наша архитектура — это набор моделей для распознавания речи, рассуждений, смены реплик и голоса. В каждой категории можно выбирать баланс между точностью, скоростью и стоимостью. Zeus подбирает оптимальную конфигурацию для ваших звонков.

Администратор стоматологииИсходящие продажи
РаспознаваниеТри модели расшифровки плюс аудио — для имён, дат рождения и номеров страховых полисовОдна быстрая модель расшифровки, настроенная на короткие ответы
РассуждениеМодель рассуждения — при записи на приём, быстрая модель — для лёгкой беседыБыстрая модель на большинстве реплик, чтобы презентация не теряла темп
Смена репликТерпеливо: пережидает паузы, пока звонящий ищет картуБыстро: вступает в разговор, как только потенциальный клиент замолкает
ГолосСтабильный голос, который чётко повторяет числаСамый естественный голос премиум-класса
ЦельЗаписи без ошибок в данныхЦенность конверсии за вычетом стоимости звонка

Примеры приведены только для иллюстрации. Zeus подбирает каждую конфигурацию на основе ваших звонков и целей.

Задержка

В большинстве случаев — быстро. В ответственные моменты — вдумчиво.

Над некоторыми репликами модели нужно хорошо подумать, а это требует времени. С большинством она справляется очень быстро. ThunderPhone подбирает глубину анализа для каждой реплики: обычно он отвечает примерно за 1,5 секунды, но, когда нужно избежать ошибки, берёт больше времени. Другие голосовые ИИ-системы так не умеют.

Время ответа для каждой реплики

~1,5 срасчёт стоимостипроверка правил
Быстрая модельМодель с рассуждением

Реальные звонки

Естественный диалог — даже когда всё идёт не по плану.

Звонящие могут перебивать, делать паузы и менять решение — диалог всё равно продолжается. ThunderPhone создан для ситуаций, в которых другие системы дают сбой.

Распознавание речи

Невнятная речь

Сопоставляет аудио с текстом, а не полагается на одну лишь расшифровку.

Распознавание речи

Имена и адреса

Перепроверяет имена собственные, варианты написания, числа и исправления.

Аудио

Плохой звук при звонке

Модели шумоподавления сначала очищают сигнал — и только потом он поступает на дальнейшую обработку.

Аудио

Разговоры на фоне

Распознаёт посторонние разговоры, прежде чем они собьют агента с толку.

Язык

Смешение языков

Переключается на другой язык вслед за звонящим — прямо во время разговора.

Очередность реплик

Перебивания и паузы

Замолкает, если звонящий перебивает, не реагирует на «угу» и спокойно выдерживает паузы на раздумья.

Голоса

У TTS-голосов есть свои плюсы и минусы. Zeus поможет в них разобраться.

У разных TTS-моделей свои сильные и слабые стороны. Zeus поможет выбрать лучшую для ваших звонков.

Стандартные InworldПремиальные CartesiaПремиальные ElevenLabs v4 Turbo
СтоимостьПочти бесплатноПримерно на 2 цента за минуту дорожеПримерно на 2 цента за минуту дороже
Стабильность
Естественность

Языки

На языке звонящего — даже посреди разговора.

Голосовые ИИ-агенты понимают 62 языка, говорят на них и мгновенно переключаются вслед за звонящим. Без доплаты за языки.

AfrikaansArabicArmenianAssameseAzerbaijaniBengaliBosnianBulgarianCantoneseCatalanChineseCroatianCzechDanishDutchEnglishEstonianFilipinoFinnishFrenchGalicianGermanGreekGujaratiHebrewHindiHungarianIcelandicIndonesianItalianJapaneseKannadaKazakhKoreanLatvianLithuanianMacedonianMalayMalayalamMarathiNepaliNorwegianOdiaPersianPolishPortuguesePunjabiRomanianRussianSerbianSlovakSlovenianSpanishSwahiliSwedishTamilTeluguThaiTurkishUkrainianUrduVietnamese

Испытайте ThunderPhone на самых сложных звонках.

Начните бесплатно: $10 на звонки. Карта не нужна.