Predstavljamo ThunderPhone

Danes s ponosom napovedujemo javno lansiranje ThunderPhone, ki omogoča preprosto avtomatizacijo telefonskih klicev z umetno inteligenco. ThunderPhone s povsem drugačno integrirano arhitekturo od drugih platform za telefonsko umetno inteligenco dosega bistveno višjo zmogljivost, nižje stroške in manj težav z integracijami. ThunderPhone podpira dohodne in odhodne klice v več deset jezikih ter je skladen s HIPAA in GDPR.

Prednost integracije

Druge platforme za telefonsko umetno inteligenco omejujejo zmogljivost svojih sistemov, ker vsiljujejo 3-stopenjsko strukturo:

1. En model za prepisovanje, ki uporabnikov glas pretvori v besedilo.
2. En LLM, ki obdela uporabnikovo besedilo in ustvari odgovor.
3. En model TTS, ki besedilo odgovora pretvori nazaj v zvok.

Večina jih tudi prelaga inženirsko delo na uporabnike, saj jih sili, da izberejo modele, ki jih želijo uporabljati, ter možnosti konfiguracije, kot so parametri odstranjevanja šuma in odzivnosti.

Izbrali smo drugačen pristop: konfigurirali smo po našem mnenju najboljši možni sklad z današnjimi modeli in ga pripravili za uporabo brez zapletenega konfiguriranja. Naš sistem hkrati uporablja veliko modelov ter med njimi inteligentno usmerja potek glede na tok pogovora. To vključuje:

• Kombiniranje več modelov za prepisovanje, pri čemer so nekateri hitrejši, drugi natančnejši, da uravnovesimo hitrost in natančnost ter pokrijemo napake drug drugega.
• Kombiniranje LLM-jev z zvočnim vhodom, ki imajo lahko nižjo splošno inteligenco, vendar bolje razumejo zvok, z LLM-ji, ki obdelujejo le besedilo in lahko delajo napake zaradi nenatančnih prepisov, vendar so pogosto pametnejši.
• Kombiniranje hitrih, vendar manj inteligentnih LLM-jev, ki lahko ustvarijo hitre odgovore, z veliko pametnejšimi, vendar počasnejšimi LLM-ji, ki lahko delujejo v ozadju in zagotavljajo, da AI sledi svojemu pozivu ter pravilno odgovarja na to, kar pove uporabnik.
• Kombiniranje komercialnih modelov vodilnih ponudnikov, vključno z OpenAI in Google, ki ponujajo najvišjo danes razpoložljivo inteligenco, s širokim naborom odprtokodnih modelov, ki pogosto ponujajo večjo hitrost ob nižjih stroških.
• Hkratno uporabo več modelov za razvrščanje in odpravljanje šuma v ozadju, stranskih pogovorov ter drugih motečih zvokov, ki bi sicer lahko zmotili pogovor.

Te komponente in druge so na različne načine usklajene v naših treh ravneh storitev, Spark, Bolt in Storm — Spark optimiziramo za stroške, Bolt za hitrost, Storm pa za inteligenco, pri tem pa kar najbolj zmanjšujemo pomanjkljivosti vsake od njih. Vsi trije sistemi imajo skupne prednosti, kot je izjemno natančno razumevanje tega, kar uporabniki povedo, tudi pri lastnih imenih in črkovanju.

Ugotavljamo, da ta tesno integrirana arhitektura našemu sistemu zagotavlja bistveno višjo zmogljivost ob nižjih stroških kot toga 3-stopenjska zasnova, ki jo ponujajo drugi ponudniki. V skladu s teorijo modularnosti Claya Christensena so glasovni AI še vedno v zgodnji fazi in še vedno je dragoceneje z integrirano arhitekturo doseči največjo zmogljivost kot z modularno arhitekturo največjo prilagodljivost.

Optimizirane odločitve

Kar zadeva prilagodljivost, ji nasprotujemo. Večina današnjih platform za telefonsko umetno inteligenco uporabnike sili v krmarjenje med neskončnimi možnostmi, od natančno določenih uporabljenih modelov do izjemno podrobnih parametrov, kot je hitrost, s katero umetna inteligenca prekine uporabnika.

Po našem mnenju je NAŠA naloga, da te odločitve optimiziramo v ozadju, tako da se lahko uporabniki ThunderPhone osredotočijo na tisto, v čemer so dobri, in jim ni treba skrbeti za podrobno konfiguracijo glasovne umetne inteligence. Sebe vidimo kot nekakšen Squarespace, ki uporabnikom olajša nastavitev telefonskih agentov z absolutno najvišjo zmogljivostjo, ki jo omogočajo današnji modeli, brez kakršnega koli truda.

Enostavna uporaba

ThunderPhone je tudi izjemno enostaven za uporabo, ne glede na to, ali nastavljate novega telefonskega agenta ali prehajate z druge platforme oziroma lastnega tehnološkega sklopa. Za nastavitev telefonskega agenta v ThunderPhone morate storiti le naslednje:

1. Odločite se, ali želite uporabljati Spark, Bolt ali Storm.
2. Izberite glas.
3. Pošljite nam svoj poziv. Agenti z več pozivi niso potrebni. Če je vaš poziv za Spark ali Bolt preveč zapleten, nadgradite na Storm, ki lahko tudi zapletene primere uporabe obvlada z enim samim pozivom.
4. Povežite integracije programske opreme (katero koli končno točko ali izvorno integracijo n8n) z izjemno preprostim čarovnikom.
5. Povežite svoj VoIP z izjemno preprostim čarovnikom.

Vse to običajno traja 10 minut ali manj.

ThunderPhone je skladen s standardoma HIPAA in GDPR, na zahtevo pa bomo podpisali in zagotovili sporazume BAA in DPA.

Naša zgodba

Smo ekipa alumnov Stanford AI Lab in Y Combinator, ki se z glasovno umetno inteligenco ukvarja že od leta 2024. Sprva smo se osredotočali na Flux Interpreting, ki prevaja telefonske klice med jeziki. Ker pa so nas stranke večkrat prosile, naj telefonske klice za njihova podjetja avtomatiziramo, namesto da jih le prevajamo, smo fokus preusmerili v to, kar je danes ThunderPhone.

Težava z obstoječimi platformami

Na začetku smo za stranke gradili telefonske agente na platformah za telefonsko umetno inteligenco drugih podjetij. Preizkusili smo praktično vse platforme za telefonsko umetno inteligenco na trgu, vendar smo žal ugotovili, da jim marsikaj manjka, zlasti pri:

• Razumevanju zvoka: Omejitve uporabe le enega modela za prepisovanje uporabnikovega zvoka v besedilo so pomenile, da je umetna inteligenca uporabnika pogosto »narobe slišala«, zlasti pri lastnih imenih, neobičajnih besedah in črkovanju.
• Sledenju navodilom: Ker je dejansko »miselno delo« v ozadju klica opravljal en sam hiter LLM, so imeli agenti umetne inteligence pogosto težave s pravilnim sledenjem navodilom in so zašli s poti.
• Zahtevnih integracijah: Platforme, ki smo jih preizkusili, so zelo otežile povezovanje z zunanjo programsko opremo; praviloma smo morali vnašati obsežne konfiguracije JSON za klice orodij in se z njimi znova in znova boriti v bashu, skoraj brez povratnih informacij, dokler niso nenadoma začele delovati.
• Ceni: Obstoječe platforme so praviloma zaračunavale celo premoženje: običajno 10 centov na minuto ali več za povprečno zmogljivost.

Gradnja lastnega sklopa tehnologij

Ko smo podpisali pogodbo za izvedbo primera uporabe prodajnih klicev za poslovno stranko, smo morali zgraditi lasten prilagojen sklop tehnologij, da bi izpolnili njene potrebe. Ta primer uporabe je bil zahteven: za razliko od podpore strankam, kjer so klicatelji večinoma prepuščeni na milost in nemilost podjetju, prodajni klicatelji hitro odložijo slušalko.

Kakovost klica mora biti vrhunska, če želite skleniti prodajo namesto izgubiti potencialno stranko. To je pomenilo obravnavo številnih lastnih imen in črkovanj, vključno z imeni in naslovi, ki jih standardni modeli za prepisovanje težko pravilno prepoznajo. Da bi ta primer uporabe izpilili, smo zgradili to, kar je danes ThunderPhone.

Medtem smo v skupnosti glasovne umetne inteligence v San Franciscu nenehno srečevali ljudi, ki so gradili podjetja z vertikalnimi telefonskimi agenti — za veterinarje, voznike tovornjakov in druge. Presenetljivo je večina delila isto mnenje: obstoječe platforme so bile dovolj dobre za predstavitve, ne pa za produkcijo.

Presenetljivo je veliko, če ne celo večina naših prijateljev v podjetjih z vertikalno glasovno umetno inteligenco, dejansko gradila lastne sklope tehnologij ... To nam ni imelo smisla — to je resnično enakovredno temu, da bi morala spletna zagonska podjetja v 90. letih gostiti lastne spletne strežnike na strežniku v omari.

Ob tem spoznanju smo ugotovili, da je čas, da naš sistem telefonske umetne inteligence spremenimo v platformo, ki jo lahko uporablja vsakdo.

Podjetja z vertikalno glasovno umetno inteligenco in svetovalci bi se morali lahko osredotočiti na izpolnjevanje potreb svojega ciljnega trga s svojim strokovnim znanjem iz panoge — ne na zapleteno inženirsko zasnovo osnovne tehnologije umetne inteligence in telefonije! To danes predstavljamo s ThunderPhone.

Pot do sem je bila dolga! Opravičujemo se vsem, ki ste se pri nas prijavili od lanskega aprila in še vedno čakate na dostop: kar smo sprva mislili, da bo hiter zaključni sprint, se je izkazalo za večmesečno odisejado ugotavljanja, kako modele, ki so danes na voljo, povezati v čim bolj robusten sistem.

Toda zdaj smo končno v živo — preizkusite ga in nam povejte, kaj menite!

Čeprav smo odpravili glavne težave, so v sistemu zagotovo še napake. Če naletite na kakršne koli težave, nam pišite na alex@thunderphone.com in poskrbel bom, da bodo čim prej odpravljene. Sporočite nam tudi, če imate predloge za funkcionalnosti, in jih bomo prav tako uresničili takoj, ko bo mogoče.

Če imate bolj prilagojene potrebe, kot so prilagojena izvedba in podpora pri integraciji, skladnost, ki presega običajna HIPAA in GDPR, SLA-ji ter zahteve za prilagojene funkcionalnosti, se z veseljem pogovorimo o poslovnem dogovoru. Pišite nam na alex@thunderphone.com, da se pogovorimo o vaših potrebah in o tem, ali vam lahko pomagamo.

Še splošneje: zavezujemo se, da je NAŠA naloga zagotoviti, da ThunderPhone deluje takoj po namestitvi z minimalnim naporom z vaše strani in da klice vašega podjetja obravnava tako popolno, kot je to mogoče z današnjo umetno inteligenco, v okviru cenovnega paketa, ki ga izberete — Spark, Bolt ali Storm. Preizkusite nas; z veseljem vam bomo pokazali, kaj ThunderPhone zmore.

Sporočite nam, kaj menite, in hvala za vašo podporo!