Elérhető a ThunderPhone v3, benne a Zeusszal: a hangalapú AI-ügynökökhöz készült AI-keretrendszerrel.Olvassa el a bejelentést

Technológia

Lépjen túl a háromlépcsős feldolgozási láncon.

A legtöbb hangalapú AI egy beszédfelismerő modellre, egy LLM-re és egy TTS-modellre, vagy egyetlen, beszédből beszédet előállító modellre épül. A ThunderPhone ezzel szemben minden hívás során több modellt futtat, amelyek egymást is ellenőrzik.

Architektúra

Más rendszerek éles hívásoknál elvéreznek.
A miénk helytáll.

Más szolgáltatók háromlépcsős feldolgozási láncot vagy beszédből beszédet előállító modellt használnak. Mindkét megoldás hibázik, és ezek a hibák éles hívásokat tesznek tönkre.

Háromlépcsős feldolgozási lánc

Minden lépés az előzőre hagyatkozik

  • A leirat csak az egyetlen legjobbnak vélt változatot tartja meg. Ha ez téves, az LLM már nem tud korrigálni.
  • A gyors LLM-ek hibáznak. Az alaposabbak válaszára viszont másodperceket kell várni.
  • A kötött megszólalási rend merevvé teszi a beszélgetést.
Beszédből beszéd

Természetesen beszél, de lazán kezeli a szabályokat

  • Az utasítások követése és az eszközhívások terén sem megbízható.
  • A kiszámíthatatlan működés kockázatot jelent az üzleti hívások során.
  • Néha pontosabban érti a beszédet, de nem mindig.
ThunderPhone

Több modell ellenőrzi egymást

  • Több beszédfelismerő modellre és magára a hanganyagra támaszkodunk, így a rendszer pontosan érti a hívókat.
  • Megszólalásonként váltunk a gyors és a gondolkodó modell között.
  • A Zeus az Ön hívásainak igényeire hangolja a modelleket.

Hívásonként számos modell

Egy hívás, több értelmezés – majd egyeztetjük az eredményeket.

A megbízható híváskezeléshez háromnál jóval több modell kell. Nyílt forráskódú és kereskedelmi modelleket kombinálunk, és ahol hasznos, finomhangoljuk őket.

Beszédértés

Több beszédfelismerő modell és maga a hanganyag

Több beszédfelismerő modellt futtatunk párhuzamosan, a hanganyagot pedig gyakran közvetlenül egy LLM-nek is továbbítjuk.

Gondolkodás

Egy gyors és egy gondolkodó modell

A beszélgetés alakulása alapján minden megszólalásnál külön dől el, melyik modell válaszol.

Beszélgetés

Zaj, beszélők, beszélőváltás

Modellek a zaj kezelésére, a beszélők elkülönítésére, valamint az egyes megszólalások kezdetének és végének felismerésére.

Speech-to-speech, tartalék megoldással

Természetes hangzás, megbízható működés

A speech-to-speech modellek mellett szöveges modelleket is futtatunk.

Háromlépcsős feldolgozási lánc hibás válasz

hívó“I rent.” (motyogva)
átirat“I’m Brent.”
AI-ügynök„Üdvözlöm, Brent. Miben segíthetek?”

ThunderPhone elsőre helyes válasz

hívó“I rent.” (motyogva)
bizonyítékokHárom átirat és a nyers hanganyag. A három feldolgozási ág közül kettő ugyanarra jut: “I rent.”
AI-ügynök„Értem, tehát Ön bérel.”

Pontosság

Nyilvános benchmarkon bizonyított.

A Big Bench Audio azt méri, hogy egy modell megérti-e a nehéz, szóban feltett kérdéseket, és helyes választ ad-e rájuk.

99.4%a Big Bench Audio teszten. A közzétett pontszámok közül a második legmagasabb, az élő hívásokhoz elég gyors modellek között pedig a legmagasabb.Adatkészlet a Hugging Face-en ↗

Tesztjeink

Valós hívásokra épülő tesztek.

A rendszer minden eleméhez szóba jövő összes modellt valós hívásokból származó adatokon teszteljük – nem a szolgáltatók állításaira hagyatkozunk –, és mindegyik előnyeit és hátrányait nyomon követjük. Zeus ezek alapján választja ki az Önnek megfelelő konfigurációt.

Hamarosan közzétesszük belső tesztjeink nyilvános változatait.

Valós hívásokon végzett tesztA modellB modell
Nevek és számok felismeréseerősebbjó
Rövid válaszok („igen”, „nem”)jóerősebb
Válaszadási sebességgyorsabblassabb
Hosszú szabályok követésegyengébberősebb

Kompromisszumok

Minden hívás más beállítást igényel. Zeus kiválasztja a megfelelőt.

Architektúránk minden részfeladathoz többféle modellt kínál: a beszédfelismeréshez, a gondolkodáshoz, a beszélőváltáshoz és a hanghoz is. Mindegyik más egyensúlyt teremt a pontosság, a sebesség és a költségek között. Zeus az Ön hívásaihoz legjobb összeállítást választja.

Fogászati recepciósKimenő értékesítés
BeszédfelismerésHárom beszédátíró az eredeti hanggal együtt, a nevek, születési dátumok és biztosítási számok felismeréséhezEgy gyors, rövid válaszokra hangolt beszédátíró
GondolkodásGondolkodó modell a foglalás egyeztetésekor, gyors modell a kötetlen beszélgetéshezA legtöbb megszólalásnál gyors modell, hogy lendületben maradjon az értékesítési beszélgetés
BeszélőváltásTürelmes: kivárja a szüneteket, amíg a hívó fél előkeresi a kártyájátGyors: azonnal megszólal, amint a potenciális ügyfél befejezi
HangStabil hang, amely tisztán visszaolvassa a számokatA legtermészetesebb prémium hang
CélFoglalások rögzítése hibás adatok nélkülKonverziós érték mínusz a hívás költsége

Kizárólag szemléltető példák. A Zeus az Ön saját hívásai és céljai alapján választja ki az egyes beállításokat.

Késleltetés

A legtöbb válasznál gyors. Alapos, amikor igazán számít.

Egyes válaszok előtt a modellnek alaposabban át kell gondolnia a helyzetet, ami időbe telik. A legtöbb válasz azonban nagyon gyorsan megadható. A ThunderPhone válaszról válaszra igazítja a gondolkodás mélységét az adott helyzethez, így egy átlagos válasz körülbelül 1,5 másodperc alatt érkezik meg, de ha a hibák elkerülése érdekében több időre van szükség, tovább gondolkodik. Más hangalapú AI-megoldások erre nem képesek.

Válaszidő, válaszról válaszra

~1,5 mpárajánlatszabályzat ellenőrzése
Gyors modellGondolkodó modell

Valós hívások

Természetes beszélgetés, még zűrös hívásoknál is.

A hívók félbeszakíthatják az ügynököt, szünetet tarthatnak vagy meggondolhatják magukat – a beszélgetés mégis gördülékeny marad. A ThunderPhone olyan helyzetekre készült, amelyeknél más rendszerek elvéreznek.

Beszédfelismerés

Motyogás

Nem egyetlen átiratra hagyatkozik: a hangot és a szöveget is összeveti.

Beszédfelismerés

Nevek és címek

Összeveti a tulajdonneveket, a betűzéseket, a számokat és a helyesbítéseket.

Hang

Gyenge telefonos hangminőség

A zajszűrő modellek megtisztítják a jelet, mielőtt bármi más feldolgozná.

Hang

Háttérben zajló beszélgetés

Felismeri a mellékes beszélgetéseket, mielőtt kizökkentenék az AI-ügynököt.

Nyelv

Kevert nyelvű beszéd

Ha a hívó nyelvet vált, azonnal követi – akár a hívás közepén is.

Beszélőváltás

Közbevágások és szünetek

Nem beszél tovább, ha a hívó közbevág, figyelmen kívül hagyja az „ühüm”-öt, és kivárja, amíg a hívó összeszedi a gondolatait.

Hangok

A TTS-hangok választása kompromisszumokkal jár. A Zeus segít eligazodni.

A TTS-modelleknek más-más előnyeik és hátrányaik vannak. A Zeus segít kiválasztani azt, amelyik az Ön hívásaihoz a legjobban illik.

Platform InworldPrémium CartesiaPrémium ElevenLabs v4 Turbo
ÁrSzinte ingyenesKb. 2 centtel drágább percenkéntKb. 2 centtel drágább percenként
Stabilitás
Természetes hangzás

Nyelvek

A hívó nyelvére vált akár hívás közben is.

A hangalapú AI-ügynökök 62 nyelven értenek és beszélnek, és azonnal váltanak, amint a hívó is. A különböző nyelvek használatáért nem számítunk fel felárat.

AfrikaansArabicArmenianAssameseAzerbaijaniBengaliBosnianBulgarianCantoneseCatalanChineseCroatianCzechDanishDutchEnglishEstonianFilipinoFinnishFrenchGalicianGermanGreekGujaratiHebrewHindiHungarianIcelandicIndonesianItalianJapaneseKannadaKazakhKoreanLatvianLithuanianMacedonianMalayMalayalamMarathiNepaliNorwegianOdiaPersianPolishPortuguesePunjabiRomanianRussianSerbianSlovakSlovenianSpanishSwahiliSwedishTamilTeluguThaiTurkishUkrainianUrduVietnamese

Tegye próbára a legnehezebb hívási helyzetekben.

Vágjon bele ingyen, $10 értékű hívási kredittel. Nincs szükség bankkártyára.