Predstavujeme ThunderPhone

Dnes s hrdosťou oznamujeme verejné uvedenie ThunderPhone, ktoré uľahčuje automatizáciu telefonických hovorov pomocou AI. Vďaka úplne odlišnej integrovanej architektúre než ostatné platformy telefónnej AI dokáže ThunderPhone dosahovať výrazne vyšší výkon, nižšie náklady a menej problémov s integráciami. ThunderPhone podporuje prichádzajúce aj odchádzajúce hovory v desiatkach jazykov a spĺňa požiadavky HIPAA a GDPR.

Výhoda integrácie

Ostatné platformy telefónnej AI obmedzujú výkon svojich systémov tým, že presadzujú trojkrokovú štruktúru:

1. Jeden model prepisu, ktorý prevádza hlas používateľa na text.
2. Jeden LLM, ktorý spracuje text používateľa a vytvorí odpoveď.
3. Jeden model TTS, ktorý prevedie text odpovede späť na zvuk.

Väčšina z nich tiež prenáša technickú prácu na svojich používateľov tým, že ich núti vyberať si modely, ktoré chcú používať, ako aj možnosti konfigurácie, napríklad potlačenie šumu a parametre odozvy.

Zvolili sme iný prístup: nakonfigurovali sme podľa nášho názoru najlepšiu možnú zostavu s modelmi, ktoré sú dnes k dispozícii, a pripravili ju na používanie bez náročnej konfigurácie. Náš systém používa súčasne viacero modelov a inteligentne medzi nimi prepína podľa priebehu konverzácie. Zahŕňa to:

• Kombinovanie viacerých modelov prepisu — niektoré sú rýchlejšie, iné presnejšie — aby sa vyvážila rýchlosť a presnosť a pokryli sa chyby jednotlivých modelov.
• Kombinovanie LLM so zvukovým vstupom, ktoré môžu mať nižšiu všeobecnú inteligenciu, ale lepšie rozumejú zvuku, s LLM určenými len pre text, ktoré môžu robiť chyby v dôsledku nepresných prepisov, no často sú inteligentnejšie.
• Kombinovanie rýchlych, no menej inteligentných LLM, ktoré dokážu vytvárať rýchle odpovede, s omnoho inteligentnejšími, ale pomalšími LLM, ktoré môžu bežať na pozadí a zabezpečiť, aby sa AI riadila svojimi pokynmi a správne reagovala na to, čo používateľ hovorí.
• Kombinovanie komerčných modelov od popredných poskytovateľov vrátane OpenAI a Google, ktoré ponúkajú najvyššiu dnes dostupnú inteligenciu, so širokou škálou open-source modelov, ktoré často ponúkajú vyššiu rýchlosť pri nižších nákladoch.
• Súčasné používanie viacerých modelov na klasifikáciu a odstránenie hluku v pozadí, vedľajších konverzácií a ďalších rušivých zvukov, ktoré by inak mohli narušiť konverzáciu.

Tieto a ďalšie komponenty sú rôznymi spôsobmi koordinované v našich troch úrovniach služieb Spark, Bolt a Storm — Spark je optimalizovaný na náklady, Bolt na rýchlosť a Storm na inteligenciu, pričom čo najviac minimalizujeme nevýhody každej z nich. Všetky tri systémy zdieľajú výhody, ako je mimoriadne presné porozumenie tomu, čo používatelia hovoria, vrátane vlastných mien a hláskovania.

Zistili sme, že táto úzko integrovaná architektúra poskytuje nášmu systému oveľa vyšší výkon pri nižších nákladoch než strnulý trojkrokový prístup, ktorý ponúkajú iní dodávatelia. V súlade s teóriou modularity Claya Christensena je hlasová AI stále len na začiatku a maximalizácia výkonu pomocou integrovanej architektúry má stále väčšiu hodnotu než maximalizácia prispôsobiteľnosti pomocou modulárnej architektúry.

Optimalizované rozhodnutia

A čo sa týka prispôsobiteľnosti, sme proti nej. Väčšina dnešných AI platforiem pre telefóniu núti používateľov prechádzať nekonečnými možnosťami, od presných použitých modelov až po mimoriadne podrobné parametre, napríklad ako rýchlo má AI prerušovať používateľa.

Podľa nás je NAŠOU úlohou optimalizovať tieto voľby na pozadí, aby sa používatelia ThunderPhone mohli sústrediť na to, v čom sú dobrí, a nemuseli sa zaoberať podrobnou konfiguráciou hlasovej AI. Vnímame sa ako určitý druh Squarespace, ktorý používateľom uľahčuje nastavenie hlasových agentov s absolútne najvyšším výkonom, aký dnešné modely umožňujú, bez jediného zásahu.

Jednoduché používanie

ThunderPhone sa tiež používa mimoriadne jednoducho, či už nastavujete nového hlasového agenta, alebo migrujete z inej platformy či vlastného technologického riešenia. Na nastavenie hlasového agenta v ThunderPhone stačí:

1. Rozhodnúť sa, či chcete použiť Spark, Bolt alebo Storm.
2. Vybrať hlas.
3. Poskytnúť nám svoj prompt. Nie sú potrební agenti s viacerými promptmi. Ak je váš prompt pre Spark alebo Bolt príliš zložitý, prejdite na Storm, ktorý zvládne aj komplexné prípady použitia s jediným promptom.
4. Pripojiť softvérové integrácie (ľubovoľný endpoint alebo natívnu integráciu n8n) pomocou mimoriadne jednoduchého sprievodcu.
5. Pripojiť svoje VoIP pomocou mimoriadne jednoduchého sprievodcu.

Celý tento proces zvyčajne trvá 10 minút alebo menej.

ThunderPhone je v súlade s HIPAA aj GDPR a na požiadanie podpíšeme a poskytneme BAA a DPA.

Náš príbeh

Sme tím bývalých členov Stanford AI Lab a Y Combinator, ktorí pracujú na hlasovej AI od roku 2024. Pôvodne sme sa zameriavali na Flux Interpreting, ktorý prekladá telefonické hovory medzi jazykmi. Keď nás však zákazníci opakovane žiadali, aby sme pre ich firmy telefonické hovory automatizovali, a nie iba prekladali, presunuli sme svoje zameranie na to, čo je dnes ThunderPhone.

Problém existujúcich platforiem

Najprv sme začali vytvárať hlasových agentov pre zákazníkov na platformách AI pre telefonovanie od iných spoločností. Otestovali sme prakticky každú platformu AI pre telefonovanie na trhu, no, žiaľ, sme zistili, že majú nedostatky, najmä pokiaľ ide o:

• Porozumenie zvuku: Obmedzenie na jediný model prepisu, ktorý prevádza zvuk používateľa na text, znamenalo, že AI používateľa často „zle počula“, najmä pri vlastných menách, nezvyčajných slovách a hláskovaní.
• Dodržiavanie pokynov: Jediný rýchly LLM, ktorý vykonával skutočnú „mentálnu prácu“ počas hovoru, často spôsoboval, že AI mali problém správne dodržiavať pokyny a odchýlili sa od požadovaného postupu.
• Náročné integrácie: Platformy, ktoré sme vyskúšali, výrazne sťažovali pripojenie k externému softvéru. Vo všeobecnosti sme museli zadávať rozsiahle konfigurácie JSON pre volania nástrojov a opakovane sa s nimi trápiť bez akejkoľvek spätnej väzby, až kým zrazu nezačali fungovať.
• Cena: Existujúce platformy si vo všeobecnosti účtovali premrštené sumy: zvyčajne 10 centov za minútu alebo viac za len priemerný výkon.

Budovanie vlastného technologického riešenia

Keď sme podpísali zmluvu na implementáciu predajného telefonického scenára pre podnikového klienta, boli sme nútení vytvoriť vlastné riešenie na mieru, aby sme splnili jeho potreby. Tento scenár bol náročný: na rozdiel od zákazníckej podpory, kde sú volajúci vo veľkej miere odkázaní na firmu, ľudia pri predajných hovoroch rýchlo zložia.

Kvalita hovoru musí byť špičková, aby sa predaj uskutočnil a potenciálny zákazník sa nestratil. To znamenalo zvládnuť veľké množstvo vlastných mien a hláskovania vrátane mien a adries, ktoré štandardné modely prepisu len ťažko správne rozpoznajú. Aby sme tento scenár zvládli dokonale, vytvorili sme to, čo je dnes ThunderPhone.

Popri tom sme sa stále stretávali s ľuďmi z komunity hlasovej AI v San Franciscu, ktorí budovali spoločnosti s hlasovými agentmi pre konkrétne odvetvia — pre veterinárov, vodičov nákladných vozidiel a ďalších. Prekvapivo mala väčšina z nich rovnaký názor: existujúce platformy boli dosť dobré na ukážky, no nie na produkčné nasadenie.

Šokujúco, mnohí, ak nie väčšina našich priateľov zo spoločností s hlasovou AI pre konkrétne odvetvia, si v skutočnosti „budovali vlastné“ technologické riešenia... Nedávalo nám to zmysel — je to v podstate ekvivalent situácie, keď by webové startupy v 90. rokoch museli prevádzkovať vlastné webové servery na serveri v skrini.

Vďaka tomuto zisteniu sme si uvedomili, že nastal čas premeniť náš systém AI pre telefonovanie na platformu, ktorú môže používať ktokoľvek.

Spoločnosti s hlasovou AI pre konkrétne odvetvia a konzultanti by sa mali môcť sústrediť na potreby svojho cieľového trhu pomocou odbornosti vo svojom odvetví — nie na zložité technické budovanie základnej AI a technológie telefonovania! Presne to dnes uvádzame s ThunderPhone.

Bola to dlhá cesta! Ospravedlňujeme sa všetkým, ktorí sa u nás zaregistrovali od minulého apríla a stále čakajú na prístup: to, čo sme považovali za rýchly finiš, sa ukázalo ako niekoľkomesačná výprava za hľadaním spôsobu, ako prepojiť dnes dostupné modely do čo najspoľahlivejšieho systému.

Teraz sme však konečne spustení — vyskúšajte si to a povedzte nám, čo si myslíte!

Hoci sme vyriešili hlavné nedostatky, v systéme sa určite stále môžu vyskytovať chyby. Ak narazíte na akýkoľvek problém, napíšte na alex@thunderphone.com a postarám sa, aby bol čo najskôr vyriešený. Dajte mi tiež vedieť, aké funkcie by ste si želali, a čo najskôr ich pre vás zrealizujeme.

Ak máte špecifickejšie potreby, napríklad podporu pri vlastnej implementácii a integrácii, požiadavky na súlad nad rámec bežných HIPAA a GDPR, SLA alebo vlastné požiadavky na funkcie, radi sa s vami porozprávame o podnikovej dohode. Kontaktujte nás na adrese alex@thunderphone.com a prediskutujeme vaše potreby aj to, či vám môžeme pomôcť.

Vo všeobecnosti vám sľubujeme, že je NAŠOU úlohou zabezpečiť, aby ThunderPhone fungoval hneď po nasadení s minimálnym úsilím z vašej strany a aby telefonické hovory vašej firmy spracúval tak dokonale, ako to dnešná AI umožňuje, v rámci cenovej úrovne, ktorú si vyberiete — Spark, Bolt alebo Storm. Vyskúšajte nás a tešíme sa, že vám ukážeme, čo ThunderPhone dokáže.

Dajte nám vedieť, čo si myslíte, a ďakujeme za vašu podporu!