Представляємо ThunderPhone

Сьогодні ми з гордістю оголошуємо про публічний запуск ThunderPhone, який спрощує автоматизацію телефонних дзвінків за допомогою ШІ. Завдяки повністю іншій інтегрованій архітектурі порівняно з іншими платформами телефонного ШІ ThunderPhone забезпечує значно вищу продуктивність, нижчу вартість і менше складнощів з інтеграціями. ThunderPhone підтримує вхідні та вихідні дзвінки десятками мов і відповідає вимогам HIPAA та GDPR.

Перевага інтеграції

Інші платформи телефонного ШІ обмежують продуктивність своїх систем, нав’язуючи їм триетапну структуру:

1. Одна модель транскрипції, яка перетворює голос користувача на текст.
2. Одна LLM, яка обробляє текст користувача та формує відповідь.
3. Одна модель TTS, яка перетворює текст відповіді назад на аудіо.

Більшість із них також перекладають інженерну роботу на користувачів, змушуючи їх обирати моделі, які вони хочуть використовувати, а також налаштовувати параметри на кшталт шумозаглушення та швидкості реагування.

Ми обрали інший підхід: на нашу думку, ми налаштували найкращий можливий стек на основі сучасних моделей і зробили його готовим до використання без складних налаштувань. Наша система одночасно використовує багато моделей та інтелектуально маршрутизує між ними залежно від перебігу розмови. Це включає:

• Поєднання кількох моделей транскрипції: деякі з них швидші, інші точніші, щоб збалансувати швидкість і точність та компенсувати помилки одна одної.
• Поєднання LLM з аудіовходом, які можуть мати нижчий загальний інтелект, але краще розуміти аудіо, з LLM, що працюють лише з текстом, які можуть помилятися через неточні транскрипти, але часто є розумнішими.
• Поєднання швидких, але простіших LLM, які можуть генерувати швидкі відповіді, зі значно розумнішими, але повільнішими LLM, які можуть працювати у фоновому режимі та стежити, щоб ШІ дотримувався свого промпту й правильно реагував на слова користувача.
• Поєднання комерційних моделей від провідних постачальників, зокрема OpenAI та Google, які пропонують найвищий доступний сьогодні інтелект, із широким набором моделей із відкритим кодом, які часто забезпечують вищу швидкість за нижчої вартості.
• Одночасне використання кількох моделей для класифікації та усунення фонового шуму, сторонніх розмов та інших відволікальних звуків, які інакше можуть зірвати розмову.

Ці та інші компоненти по-різному оркеструються в наших трьох рівнях сервісу — Spark, Bolt і Storm: Spark оптимізовано для вартості, Bolt — для швидкості, а Storm — для інтелекту, водночас ми максимально зменшуємо недоліки кожного з них. Усі три системи мають спільні переваги, зокрема неймовірно точне розуміння того, що кажуть користувачі, навіть коли йдеться про власні назви та написання слів.

На нашу думку, ця тісно інтегрована архітектура забезпечує нашій системі значно вищу продуктивність за нижчої вартості, ніж жорсткий триетапний підхід, який пропонують інші постачальники. Відповідно до теорії модульності Клея Крістенсена, голосовий ШІ все ще перебуває на ранньому етапі розвитку, і максимізація продуктивності за допомогою інтегрованої архітектури досі цінніша за максимізацію налаштовуваності за допомогою модульної архітектури.

Оптимізовані рішення

Що ж до налаштовуваності, ми проти неї! Більшість сучасних платформ телефонного ШІ змушують користувачів продиратися крізь нескінченний вибір: від точних моделей, що використовуються, до наддетальних параметрів, як-от швидкість, з якою ШІ перебиває користувача.

На нашу думку, оптимізувати ці рішення за лаштунками — це НАША робота, щоб користувачі ThunderPhone могли зосередитися на тому, що в них виходить найкраще, і не перейматися детальним налаштуванням голосового ШІ. Ми бачимо себе певним аналогом Squarespace, який дає користувачам змогу легко налаштовувати телефонних агентів із найвищою можливою продуктивністю сучасних моделей, не докладаючи жодних зусиль.

Простота використання

ThunderPhone також неймовірно простий у використанні — чи налаштовуєте ви нового телефонного агента, чи переходите з іншої платформи або власного стеку. Щоб налаштувати телефонного агента на ThunderPhone, потрібно лише:

1. Вирішити, чи хочете ви використовувати Spark, Bolt або Storm.
2. Вибрати голос.
3. Надати нам свій промпт. Не потрібні агенти з кількома промптами! Якщо ваш промпт надто складний для Spark або Bolt, перейдіть на Storm, який може впоратися навіть зі складними сценаріями використання за допомогою одного промпту.
4. Підключити програмні інтеграції (будь-яку кінцеву точку або нативну інтеграцію n8n) за допомогою надзвичайно простого майстра.
5. Підключити свій VoIP за допомогою надзвичайно простого майстра.

Усе це зазвичай займає 10 хвилин або менше.

ThunderPhone відповідає вимогам HIPAA та GDPR, і ми підпишемо та надамо BAA і DPA за запитом.

Наша історія

Ми — команда випускників Stanford AI Lab і Y Combinator, які працюють над голосовим ШІ з 2024 року. Спочатку ми зосереджувалися на Flux Interpreting, який перекладає телефонні дзвінки між мовами. Але після того, як клієнти неодноразово просили нас автоматизувати телефонні дзвінки для їхнього бізнесу, а не лише перекладати їх, ми змінили фокус на те, що тепер стало ThunderPhone.

Проблема з наявними платформами

Спочатку ми почали створювати телефонних агентів для клієнтів на платформах голосового ШІ інших компаній. Ми протестували майже всі платформи голосового ШІ на ринку, але, на жаль, виявили, що їм багато чого бракує, особливо коли йшлося про:

• Розуміння аудіо: Обмеження, пов’язані з використанням лише однієї моделі транскрибування для перетворення аудіо користувача на текст, означали, що ШІ часто «неправильно чув» користувача, особливо у власних назвах, рідковживаних словах і написаннях.
• Дотримання інструкцій: Використання однієї швидкої LLM для фактичної «розумової роботи» під час дзвінка означало, що ШІ часто важко було правильно дотримуватися інструкцій, і він збивався з курсу.
• Складні інтеграції: Платформи, які ми спробували, дуже ускладнювали підключення до зовнішнього програмного забезпечення: зазвичай нам доводилося вводити об’ємні JSON-конфігурації для викликів інструментів і знову й знову боротися з ними майже без зворотного зв’язку, доки вони раптом не починали працювати.
• Ціна: Наявні платформи зазвичай коштували надто дорого: як правило, 10 центів за хвилину або більше за посередню якість роботи.

Створення власного стеку

Коли ми уклали угоду на впровадження сценарію дзвінків для продажів для корпоративного клієнта, нам довелося створити власний спеціалізований стек, щоб задовольнити його потреби. Цей сценарій був вимогливим: на відміну від служби підтримки, де ті, хто телефонує, значною мірою залежать від бізнесу, потенційні клієнти під час продажів швидко кладуть слухавку.

Якість дзвінка має бути бездоганною, щоб здійснити продаж, а не втратити потенційного клієнта. Це означало коректно обробляти велику кількість власних назв і написань, зокрема імена та адреси, які стандартним моделям транскрибування важко розпізнати правильно. Щоб досконало реалізувати цей сценарій, ми створили те, що тепер є ThunderPhone.

У процесі ми постійно знайомилися з людьми зі спільноти голосового ШІ в Сан-Франциско, які створювали вертикальні компанії телефонних агентів — для ветеринарів, водіїв вантажівок тощо. Дивно, але більшість із них мали однакову думку: наявні платформи були достатньо хорошими для демо, але не для продакшну.

Дивовижно, але багато, якщо не більшість, наших друзів у вертикальних компаніях голосового ШІ фактично «створювали власні» стеки... Для нас це не мало сенсу — це буквально те саме, якби вебстартапам у 90-х доводилося розміщувати власні вебсервери на сервері у своїй комірчині.

Завдяки цьому розумінню ми усвідомили, що настав час перетворити нашу систему телефонного ШІ на платформу, якою може користуватися будь-хто.

Вертикальні компанії голосового ШІ та консультанти мають зосереджуватися на потребах свого цільового ринку, використовуючи галузеву експертизу, — а не на складному проєктуванні базових технологій ШІ та телефонії! Саме це ми сьогодні запускаємо разом із ThunderPhone.

Шлях до цього був довгим! Просимо вибачення у всіх, хто зареєструвався в нас із минулого квітня та досі чекає на доступ: те, що, як ми думали, буде швидким ривком до завершення роботи, перетворилося на багатомісячну одіссею пошуку способу поєднати доступні сьогодні моделі в якомога надійнішу систему.

Але тепер ми нарешті запустилися — спробуйте й подивіться, що ви думаєте!

Хоча ми усунули основні проблеми, у системі напевно ще залишилися помилки. Якщо ви знайдете будь-які проблеми, напишіть на alex@thunderphone.com, і я подбаю про те, щоб їх якнайшвидше виправили для вас. Також повідомляйте, якщо у вас є запити на нові функції, і ми постараємося реалізувати їх для вас якомога швидше.

А якщо у вас є більш індивідуальні потреби, наприклад підтримка спеціального впровадження та інтеграції, вимоги до відповідності стандартам понад звичайні HIPAA та GDPR, SLA або запити на спеціальні функції, ми радо обговоримо корпоративну угоду. Напишіть на alex@thunderphone.com, і ми поговоримо про ваші потреби та про те, чи можемо ми допомогти.

І загалом: ми зобов’язуємося зробити так, щоб ThunderPhone працював одразу, з мінімальними зусиллями з вашого боку, і обробляв дзвінки вашого бізнесу настільки бездоганно, наскільки це можливо з сучасним ШІ, у межах обраного вами тарифу — Spark, Bolt або Storm. Спробуйте нас, і ми раді показати вам, на що здатен ThunderPhone.

Розкажіть нам, що ви думаєте, і дякуємо за вашу підтримку!