Технології
Не обмежуйтеся триетапним конвеєром.
Більшість голосових ШІ-систем використовують одну модель транскрибування, одну LLM і одну TTS-модель — або єдину модель speech-to-speech. У ThunderPhone під час кожного дзвінка працює багато моделей, які перевіряють одна одну.
Архітектура
Інші стеки не витримують реальних дзвінків.
Наш витримує.
Інші провайдери використовують триетапний конвеєр або модель speech-to-speech. В обох підходах трапляються помилки, через які реальні дзвінки зриваються.
Кожен етап покладається на попередній
- У транскрипті лишається єдиний найімовірніший варіант. Якщо він хибний, LLM уже не може виправити помилку.
- Швидкі LLM помиляються. Моделям із глибшим аналізом потрібні секунди на відповідь.
- Жорстка почерговість реплік робить розмови неприродними.
Звучить природно, але не завжди дотримується правил
- Ненадійно виконує інструкції та викликає інструменти.
- Непередбачувана поведінка ризикована для ділових дзвінків.
- Іноді краще розпізнає мовлення, але не завжди.
Кілька моделей, які перевіряють одна одну
- Кілька моделей транскрипції плюс саме аудіо — щоб точно розпізнати слова абонента.
- Швидка модель і модель для глибокого аналізу — система перемикається між ними для кожної репліки.
- Zeus налаштовує їх саме під потреби ваших дзвінків.
Багато моделей у кожному дзвінку
Розпізнаємо кількома способами, а потім узгоджуємо.
Для надійних дзвінків потрібно значно більше ніж три моделі. Ми поєднуємо моделі з відкритим кодом і комерційні моделі та донавчаємо їх там, де це дає кращий результат.
Кілька моделей транскрипції плюс саме аудіо
Ми одночасно запускаємо кілька моделей транскрипції, а часто ще й передаємо аудіо безпосередньо в LLM.
Швидка модель і модель для глибокого аналізу
Яка саме модель відповідатиме, система вирішує для кожної репліки окремо — з урахуванням перебігу розмови.
Шум, розділення голосів, черговість реплік
Моделі для роботи з шумом, розділення голосів і визначення початку та кінця кожної репліки.
Природний голос, надійна робота
Ми поєднуємо моделі «мовлення → мовлення» з текстовими моделями, які працюють паралельно.
Пайплайн із трьох етапів неправильна відповідь
ThunderPhone правильна відповідь із першої спроби
Точність
Підтверджено на публічному бенчмарку.
Big Bench Audio перевіряє, чи розуміє модель складні запитання, поставлені вголос, і чи дає правильні відповіді.
Наші тести
Тести на реальних дзвінках.
Для кожного компонента стеку ми тестуємо всі моделі на даних із реальних дзвінків, а не на заявах постачальників, і системно фіксуємо сильні та слабкі сторони кожної. Саме ці результати Zeus використовує, щоб підібрати для вас конфігурацію.
Незабаром опублікуємо версії наших внутрішніх тестів.
| Тест на реальних дзвінках | Модель A | Модель B |
|---|---|---|
| Розпізнавання імен і чисел | сильніша | добра |
| Короткі відповіді («ага», «ні») | добра | сильніша |
| Швидкість відповіді | швидша | повільніша |
| Виконання довгих інструкцій | слабша | сильніша |
Компроміси
Кожен дзвінок має свої вимоги. Zeus визначає, що саме потрібно.
Наша архітектура дає змогу обирати моделі для чотирьох компонентів: розпізнавання, мислення, черговості реплік і голосу. У кожному компоненті є варіанти з різним балансом точності, швидкості та вартості. Zeus добирає найкращу конфігурацію для ваших дзвінків.
| Адміністратор стоматологічної клініки | Вихідні продажі | |
|---|---|---|
| Розпізнавання | Три моделі транскрипції плюс аудіо — для розпізнавання імен, дат народження й номерів страхових полісів | Одна швидка модель транскрипції, оптимізована для коротких відповідей |
| Мислення | Під час запису працює модель мислення, а в невимушеній розмові — швидка модель | На більшості реплік працює швидка модель, щоб розмова не втрачала темпу |
| Черговість реплік | Не поспішає: витримує паузи, поки співрозмовник шукає картку | Реагує швидко: підхоплює розмову, щойно потенційний клієнт замовкає |
| Голос | Стабільний голос, що чітко повторює числа | Найприродніший голос преміумкласу |
| Мета | Запис на прийом — без помилок у даних | Цінність конверсії за вирахуванням вартості дзвінка |
Це лише наочні приклади. Кожну конфігурацію Zeus добирає на основі ваших дзвінків і цілей.
Затримка
Зазвичай — швидко. А коли це важливо — вдумливо.
Іноді моделі треба ретельно обміркувати відповідь, а це потребує часу. Але більшість реплік можна опрацювати дуже швидко. ThunderPhone підлаштовує глибину аналізу для кожної репліки, тому зазвичай відповідає приблизно за 1,5 секунди, а коли потрібно уникнути помилки — витрачає більше часу. Інші голосові ШІ так не вміють.
Час відповіді для кожної репліки
Реальні дзвінки
Розмова звучить природно — навіть коли дзвінок іде не за планом.
Людина на лінії може перебивати, робити паузи чи передумувати — і розмова не збивається. ThunderPhone створено саме для ситуацій, у яких інші системи дають збій.
Нерозбірливе мовлення
Зіставляє аудіо й текст, а не покладається лише на один варіант розшифровки.
Імена й адреси
Звіряє власні назви, написання, числа та виправлення.
Поганий звук під час дзвінка
Моделі шумозаглушення очищають сигнал перед будь-якою іншою обробкою.
Фонові розмови
Виявляє сторонні розмови, перш ніж вони завадять агенту вести діалог.
Змішування мов
Переходить на іншу мову просто під час дзвінка — щойно це робить співрозмовник.
Перебивання та паузи
Замовкає, коли співрозмовник перебиває, не реагує на «угу» й дає йому час сформулювати думку.
Голоси
Вибір TTS-голосу — це завжди компроміс. Zeus допоможе не помилитися.
У різних TTS-моделей свої сильні й слабкі сторони. Zeus допоможе обрати ту, що найкраще підійде для ваших дзвінків.
| Голоси платформи Inworld | Преміум-голоси Cartesia | Преміум-голоси ElevenLabs v4 Turbo | |
|---|---|---|---|
| Вартість | Майже безкоштовно | Приблизно на 2¢ за хвилину дорожче | Приблизно на 2¢ за хвилину дорожче |
| Стабільність | |||
| Природність звучання |
Мови
Мова співрозмовника — навіть якщо він змінить її під час дзвінка.
Голосові агенти розуміють і говорять 62 мовами та перемикаються на іншу щойно це робить співрозмовник. Доплачувати за мови не потрібно.
Випробуйте ThunderPhone на своїх найскладніших дзвінках.
Почніть безкоштовно й отримайте $10 на дзвінки. Банківська картка не потрібна.