Технология
Трёхэтапный пайплайн — уже не предел.
Большинство голосовых ИИ-систем работают на одной модели распознавания речи, одной LLM и одной модели синтеза речи — либо на единой speech-to-speech-модели. ThunderPhone задействует в каждом звонке множество моделей, которые перепроверяют друг друга.
Архитектура
На реальных звонках другие стеки дают сбой.
Наш не подводит.
Другие платформы используют трёхэтапный пайплайн или speech-to-speech-модель. В обоих случаях возникают ошибки, из-за которых реальные звонки срываются.
Каждый этап доверяет результату предыдущего
- В расшифровке сохраняется только одна наиболее вероятная версия. Если она неверна, LLM уже не сможет исправить ошибку.
- Быстрые LLM ошибаются. Рассуждающим нужны секунды на ответ.
- Жёсткий порядок реплик делает разговор скованным.
Звучит естественно, но вольно обращается с правилами
- Ненадёжно работает с инструкциями и вызовами инструментов.
- В деловых звонках непредсказуемое поведение — это риск.
- Иногда лучше распознаёт речь, но далеко не всегда.
Несколько моделей проверяют друг друга
- Несколько моделей распознавания речи плюс само аудио — чтобы правильно расслышать звонящего.
- Быстрая и рассуждающая модели, между которыми система переключается на каждой реплике.
- Zeus настраивает модели под задачи ваших звонков.
Множество моделей в каждом звонке
Распознаём речь несколькими способами, а затем сверяем версии.
Чтобы звонки работали надёжно, трёх моделей недостаточно — нужно гораздо больше. Мы комбинируем open-source-модели с коммерческими и точечно дообучаем их там, где это помогает.
Несколько моделей распознавания речи плюс само аудио
Мы одновременно запускаем несколько моделей распознавания речи, а часто ещё и отправляем аудио напрямую в LLM.
Быстрая и рассуждающая модели
Для каждой реплики система выбирает, какая модель ответит, исходя из контекста разговора.
Шум, разделение голосов, очерёдность реплик
Модели для обработки шума, разделения говорящих и определения начала и конца каждой реплики.
Естественный голос, предсказуемое поведение
Мы объединяем speech-to-speech с параллельно работающими текстовыми моделями.
Пайплайн из 3 этапов неверный ответ
ThunderPhone верно с первого раза
Точность
Результат подтверждён публичным бенчмарком.
Big Bench Audio проверяет, понимает ли модель сложные вопросы на слух и отвечает ли на них правильно.
Наши тесты
Тесты на реальных звонках.
Мы тестируем каждую модель для каждого компонента стека на данных реальных звонков, а не по заявлениям поставщиков, и фиксируем её сильные и слабые стороны. Именно на эти результаты опирается Zeus, когда подбирает для вас конфигурацию.
Скоро опубликуем версии наших внутренних тестов.
| Тест на реальных звонках | Модель A | Модель B |
|---|---|---|
| Распознавание имён и чисел | сильнее | хорошо |
| Короткие ответы («да», «нет») | хорошо | сильнее |
| Скорость ответа | быстрее | медленнее |
| Следование длинным инструкциям | слабее | сильнее |
Компромиссы
Для каждого звонка нужен свой подход. Zeus решает, какой именно.
Наша архитектура — это набор моделей для распознавания речи, рассуждений, смены реплик и голоса. В каждой категории можно выбирать баланс между точностью, скоростью и стоимостью. Zeus подбирает оптимальную конфигурацию для ваших звонков.
| Администратор стоматологии | Исходящие продажи | |
|---|---|---|
| Распознавание | Три модели расшифровки плюс аудио — для имён, дат рождения и номеров страховых полисов | Одна быстрая модель расшифровки, настроенная на короткие ответы |
| Рассуждение | Модель рассуждения — при записи на приём, быстрая модель — для лёгкой беседы | Быстрая модель на большинстве реплик, чтобы презентация не теряла темп |
| Смена реплик | Терпеливо: пережидает паузы, пока звонящий ищет карту | Быстро: вступает в разговор, как только потенциальный клиент замолкает |
| Голос | Стабильный голос, который чётко повторяет числа | Самый естественный голос премиум-класса |
| Цель | Записи без ошибок в данных | Ценность конверсии за вычетом стоимости звонка |
Примеры приведены только для иллюстрации. Zeus подбирает каждую конфигурацию на основе ваших звонков и целей.
Задержка
В большинстве случаев — быстро. В ответственные моменты — вдумчиво.
Над некоторыми репликами модели нужно хорошо подумать, а это требует времени. С большинством она справляется очень быстро. ThunderPhone подбирает глубину анализа для каждой реплики: обычно он отвечает примерно за 1,5 секунды, но, когда нужно избежать ошибки, берёт больше времени. Другие голосовые ИИ-системы так не умеют.
Время ответа для каждой реплики
Реальные звонки
Естественный диалог — даже когда всё идёт не по плану.
Звонящие могут перебивать, делать паузы и менять решение — диалог всё равно продолжается. ThunderPhone создан для ситуаций, в которых другие системы дают сбой.
Невнятная речь
Сопоставляет аудио с текстом, а не полагается на одну лишь расшифровку.
Имена и адреса
Перепроверяет имена собственные, варианты написания, числа и исправления.
Плохой звук при звонке
Модели шумоподавления сначала очищают сигнал — и только потом он поступает на дальнейшую обработку.
Разговоры на фоне
Распознаёт посторонние разговоры, прежде чем они собьют агента с толку.
Смешение языков
Переключается на другой язык вслед за звонящим — прямо во время разговора.
Перебивания и паузы
Замолкает, если звонящий перебивает, не реагирует на «угу» и спокойно выдерживает паузы на раздумья.
Голоса
У TTS-голосов есть свои плюсы и минусы. Zeus поможет в них разобраться.
У разных TTS-моделей свои сильные и слабые стороны. Zeus поможет выбрать лучшую для ваших звонков.
| Стандартные Inworld | Премиальные Cartesia | Премиальные ElevenLabs v4 Turbo | |
|---|---|---|---|
| Стоимость | Почти бесплатно | Примерно на 2 цента за минуту дороже | Примерно на 2 цента за минуту дороже |
| Стабильность | |||
| Естественность |
Языки
На языке звонящего — даже посреди разговора.
Голосовые ИИ-агенты понимают 62 языка, говорят на них и мгновенно переключаются вслед за звонящим. Без доплаты за языки.
Испытайте ThunderPhone на самых сложных звонках.
Начните бесплатно: $10 на звонки. Карта не нужна.