ThunderPhone v3 уже працює — із Zeus, ШІ-оркестратором для голосових агентів.Прочитати про запуск

Технології

Не обмежуйтеся триетапним конвеєром.

Більшість голосових ШІ-систем використовують одну модель транскрибування, одну LLM і одну TTS-модель — або єдину модель speech-to-speech. У ThunderPhone під час кожного дзвінка працює багато моделей, які перевіряють одна одну.

Архітектура

Інші стеки не витримують реальних дзвінків.
Наш витримує.

Інші провайдери використовують триетапний конвеєр або модель speech-to-speech. В обох підходах трапляються помилки, через які реальні дзвінки зриваються.

Триетапний конвеєр

Кожен етап покладається на попередній

  • У транскрипті лишається єдиний найімовірніший варіант. Якщо він хибний, LLM уже не може виправити помилку.
  • Швидкі LLM помиляються. Моделям із глибшим аналізом потрібні секунди на відповідь.
  • Жорстка почерговість реплік робить розмови неприродними.
Мовлення в мовлення

Звучить природно, але не завжди дотримується правил

  • Ненадійно виконує інструкції та викликає інструменти.
  • Непередбачувана поведінка ризикована для ділових дзвінків.
  • Іноді краще розпізнає мовлення, але не завжди.
ThunderPhone

Кілька моделей, які перевіряють одна одну

  • Кілька моделей транскрипції плюс саме аудіо — щоб точно розпізнати слова абонента.
  • Швидка модель і модель для глибокого аналізу — система перемикається між ними для кожної репліки.
  • Zeus налаштовує їх саме під потреби ваших дзвінків.

Багато моделей у кожному дзвінку

Розпізнаємо кількома способами, а потім узгоджуємо.

Для надійних дзвінків потрібно значно більше ніж три моделі. Ми поєднуємо моделі з відкритим кодом і комерційні моделі та донавчаємо їх там, де це дає кращий результат.

Розпізнавання мовлення

Кілька моделей транскрипції плюс саме аудіо

Ми одночасно запускаємо кілька моделей транскрипції, а часто ще й передаємо аудіо безпосередньо в LLM.

Аналіз

Швидка модель і модель для глибокого аналізу

Яка саме модель відповідатиме, система вирішує для кожної репліки окремо — з урахуванням перебігу розмови.

Розмова

Шум, розділення голосів, черговість реплік

Моделі для роботи з шумом, розділення голосів і визначення початку та кінця кожної репліки.

Мовлення → мовлення з резервною системою

Природний голос, надійна робота

Ми поєднуємо моделі «мовлення → мовлення» з текстовими моделями, які працюють паралельно.

Пайплайн із трьох етапів неправильна відповідь

абонент«I rent» (нерозбірливо).
транскрипт«I’m Brent».
агент«Вітаю, Brent. Чим можу допомогти?»

ThunderPhone правильна відповідь із першої спроби

абонент«I rent» (нерозбірливо).
підтвердженняТри транскрипти й необроблений аудіозапис. Два з трьох шляхів дають однаковий результат: «I rent».
агент«Зрозуміло, тобто ви орендуєте житло».

Точність

Підтверджено на публічному бенчмарку.

Big Bench Audio перевіряє, чи розуміє модель складні запитання, поставлені вголос, і чи дає правильні відповіді.

99.4%у Big Bench Audio. Другий найвищий опублікований результат і найвищий серед усіх моделей, що працюють достатньо швидко для дзвінків у реальному часі.Датасет на Hugging Face ↗

Наші тести

Тести на реальних дзвінках.

Для кожного компонента стеку ми тестуємо всі моделі на даних із реальних дзвінків, а не на заявах постачальників, і системно фіксуємо сильні та слабкі сторони кожної. Саме ці результати Zeus використовує, щоб підібрати для вас конфігурацію.

Незабаром опублікуємо версії наших внутрішніх тестів.

Тест на реальних дзвінкахМодель AМодель B
Розпізнавання імен і чиселсильнішадобра
Короткі відповіді («ага», «ні»)добрасильніша
Швидкість відповідішвидшаповільніша
Виконання довгих інструкційслабшасильніша

Компроміси

Кожен дзвінок має свої вимоги. Zeus визначає, що саме потрібно.

Наша архітектура дає змогу обирати моделі для чотирьох компонентів: розпізнавання, мислення, черговості реплік і голосу. У кожному компоненті є варіанти з різним балансом точності, швидкості та вартості. Zeus добирає найкращу конфігурацію для ваших дзвінків.

Адміністратор стоматологічної клінікиВихідні продажі
РозпізнаванняТри моделі транскрипції плюс аудіо — для розпізнавання імен, дат народження й номерів страхових полісівОдна швидка модель транскрипції, оптимізована для коротких відповідей
МисленняПід час запису працює модель мислення, а в невимушеній розмові — швидка модельНа більшості реплік працює швидка модель, щоб розмова не втрачала темпу
Черговість реплікНе поспішає: витримує паузи, поки співрозмовник шукає карткуРеагує швидко: підхоплює розмову, щойно потенційний клієнт замовкає
ГолосСтабільний голос, що чітко повторює числаНайприродніший голос преміумкласу
МетаЗапис на прийом — без помилок у данихЦінність конверсії за вирахуванням вартості дзвінка

Це лише наочні приклади. Кожну конфігурацію Zeus добирає на основі ваших дзвінків і цілей.

Затримка

Зазвичай — швидко. А коли це важливо — вдумливо.

Іноді моделі треба ретельно обміркувати відповідь, а це потребує часу. Але більшість реплік можна опрацювати дуже швидко. ThunderPhone підлаштовує глибину аналізу для кожної репліки, тому зазвичай відповідає приблизно за 1,5 секунди, а коли потрібно уникнути помилки — витрачає більше часу. Інші голосові ШІ так не вміють.

Час відповіді для кожної репліки

~1,5 сцінова пропозиціяперевірка правил
Швидка модельМодель із поглибленим аналізом

Реальні дзвінки

Розмова звучить природно — навіть коли дзвінок іде не за планом.

Людина на лінії може перебивати, робити паузи чи передумувати — і розмова не збивається. ThunderPhone створено саме для ситуацій, у яких інші системи дають збій.

Розпізнавання мовлення

Нерозбірливе мовлення

Зіставляє аудіо й текст, а не покладається лише на один варіант розшифровки.

Розпізнавання мовлення

Імена й адреси

Звіряє власні назви, написання, числа та виправлення.

Аудіо

Поганий звук під час дзвінка

Моделі шумозаглушення очищають сигнал перед будь-якою іншою обробкою.

Аудіо

Фонові розмови

Виявляє сторонні розмови, перш ніж вони завадять агенту вести діалог.

Мова

Змішування мов

Переходить на іншу мову просто під час дзвінка — щойно це робить співрозмовник.

Черговість реплік

Перебивання та паузи

Замовкає, коли співрозмовник перебиває, не реагує на «угу» й дає йому час сформулювати думку.

Голоси

Вибір TTS-голосу — це завжди компроміс. Zeus допоможе не помилитися.

У різних TTS-моделей свої сильні й слабкі сторони. Zeus допоможе обрати ту, що найкраще підійде для ваших дзвінків.

Голоси платформи InworldПреміум-голоси CartesiaПреміум-голоси ElevenLabs v4 Turbo
ВартістьМайже безкоштовноПриблизно на 2¢ за хвилину дорожчеПриблизно на 2¢ за хвилину дорожче
Стабільність
Природність звучання

Мови

Мова співрозмовника — навіть якщо він змінить її під час дзвінка.

Голосові агенти розуміють і говорять 62 мовами та перемикаються на іншу щойно це робить співрозмовник. Доплачувати за мови не потрібно.

AfrikaansArabicArmenianAssameseAzerbaijaniBengaliBosnianBulgarianCantoneseCatalanChineseCroatianCzechDanishDutchEnglishEstonianFilipinoFinnishFrenchGalicianGermanGreekGujaratiHebrewHindiHungarianIcelandicIndonesianItalianJapaneseKannadaKazakhKoreanLatvianLithuanianMacedonianMalayMalayalamMarathiNepaliNorwegianOdiaPersianPolishPortuguesePunjabiRomanianRussianSerbianSlovakSlovenianSpanishSwahiliSwedishTamilTeluguThaiTurkishUkrainianUrduVietnamese

Випробуйте ThunderPhone на своїх найскладніших дзвінках.

Почніть безкоштовно й отримайте $10 на дзвінки. Банківська картка не потрібна.