Pristatome ThunderPhone

Šiandien su pasididžiavimu skelbiame apie viešą ThunderPhone pristatymą, kuris leidžia lengvai automatizuoti telefono skambučius pasitelkiant DI. Dėl visiškai kitokios integruotos architektūros nei kitose telefono DI platformose ThunderPhone gali užtikrinti gerokai didesnį našumą, mažesnę kainą ir mažiau rūpesčių dėl integracijų. ThunderPhone palaiko įeinančius ir išeinančius skambučius dešimtimis kalbų bei atitinka HIPAA ir BDAR reikalavimus.

Integracijos pranašumas

Kitos telefono DI platformos riboja savo sistemų našumą, nes primeta joms 3 žingsnių struktūrą:

1. Vieną transkribavimo modelį, kuris naudotojo balsą paverčia tekstu.
2. Vieną LLM, kuris apdoroja naudotojo tekstą ir pateikia atsakymą.
3. Vieną TTS modelį, kuris atsakymo tekstą vėl paverčia garsu.

Dauguma jų taip pat perkelia inžinerinį darbą savo naudotojams, versdamos juos pasirinkti naudojamus modelius ir konfigūracijos parinktis, pavyzdžiui, triukšmo šalinimo bei reagavimo parametrus.

Pasirinkome kitą kelią: sukonfigūravome, mūsų nuomone, geriausią įmanomą šiandieninių modelių rinkinį ir parengėme jį naudoti be sudėtingų konfigūravimo pastangų. Mūsų sistema vienu metu naudoja daug modelių ir išmaniai nukreipia tarp jų pagal pokalbio eigą. Tai apima:

• Kelių transkribavimo modelių derinimą: vieni jų greitesni, kiti tikslesni, todėl galima suderinti greitį ir tikslumą bei kompensuoti vienų kitų klaidas.
• Garso įvesties LLM, kurių bendrasis intelektas gali būti mažesnis, tačiau garso supratimas geresnis, derinimą su tik tekstą apdorojančiais LLM, kurie gali suklysti dėl netikslių transkriptų, bet dažnai yra išmanesni.
• Greitų, bet ne itin išmanių LLM, galinčių greitai sugeneruoti atsakymus, derinimą su gerokai išmanesniais, bet lėtesniais LLM, kurie gali veikti fone ir užtikrinti, kad DI laikytųsi savo raginimo bei teisingai reaguotų į naudotojo žodžius.
• Komercinių modelių iš pirmaujančių tiekėjų, įskaitant OpenAI ir Google, siūlančių aukščiausią šiandien prieinamą intelektą, derinimą su plačiu atvirojo kodo modelių pasirinkimu, kurie dažnai užtikrina didesnį greitį už mažesnę kainą.
• Kelių modelių naudojimą vienu metu, kad būtų klasifikuojamas ir pašalinamas foninis triukšmas, pašaliniai pokalbiai bei kiti dėmesį blaškantys garsai, kurie kitu atveju gali sutrikdyti pokalbį.

Šie ir kiti komponentai mūsų trijuose paslaugų lygiuose — Spark, Bolt ir Storm — orkestruojami skirtingais būdais: Spark optimizuotas kainai, Bolt — greičiui, o Storm — intelektui, kartu kiek įmanoma mažinant kiekvieno jų trūkumus. Visoms trims sistemoms būdingi tokie pranašumai kaip neįtikėtinai tikslus naudotojų žodžių supratimas, net ir kalbant apie tikrinius pavadinimus bei raidžių diktavimą.

Matome, kad ši glaudžiai integruota architektūra mūsų sistemai suteikia gerokai didesnį našumą už mažesnę kainą nei griežtas 3 žingsnių metodas, kurį siūlo kiti tiekėjai. Kaip teigia Clay Christensen moduliškumo teorija, balso DI sritis vis dar yra ankstyvoje stadijoje, todėl integruota architektūra, maksimaliai didinanti našumą, vis dar yra vertingesnė už modulinę architektūrą, maksimaliai didinančią pritaikomumą.

Optimizuoti sprendimai

Kalbant apie pritaikomumą, mes esame prieš jį! Dauguma šiandienos telefoninių DI platformų verčia naudotojus naršyti begalę pasirinkimų – nuo konkrečių naudojamų modelių iki itin detalių parametrų, pavyzdžiui, kaip greitai DI gali pertraukti naudotoją.

Mūsų nuomone, MŪSŲ darbas yra optimizuoti šiuos pasirinkimus užkulisiuose, kad ThunderPhone naudotojai galėtų susitelkti į tai, ką moka geriausiai, ir nesirūpintų detalia balso DI konfigūracija. Save laikome savotišku Squarespace – padedame naudotojams lengvai sukurti telefoninius agentus, užtikrinančius absoliučiai aukščiausią našumą, kokį leidžia šiandienos modeliai, nepakeliant nė piršto.

Paprastas naudojimas

ThunderPhone taip pat neįtikėtinai paprasta naudoti, nesvarbu, ar kuriate naują telefoninį agentą, ar pereinate iš kitos platformos arba nuosavo technologijų rinkinio. Norint ThunderPhone sukurti telefoninį agentą, tereikia:

1. Nuspręsti, ar norite naudoti Spark, Bolt ar Storm.
2. Pasirinkti balsą.
3. Pateikti mums savo užklausą. Nereikia agentų su keliomis užklausomis! Jei jūsų užklausa per sudėtinga Spark ar Bolt, pereikite prie Storm, kuris gali apdoroti net sudėtingus naudojimo atvejus naudodamas vieną užklausą.
4. Prijungti programinės įrangos integracijas (bet kurį galinį tašką arba vietinę n8n integraciją) naudojantis itin paprastu vedliu.
5. Prijungti savo VoIP naudojantis itin paprastu vedliu.

Visa tai paprastai užtrunka 10 minučių ar mažiau.

ThunderPhone atitinka HIPAA ir BDAR reikalavimus, o paprašius pasirašysime ir pateiksime BAA bei DPA.

Mūsų istorija

Esame Stanfordo DI laboratorijos ir Y Combinator alumnų komanda, dirbanti su balso DI nuo 2024 m. Iš pradžių daugiausia dėmesio skyrėme Flux Interpreting, kuris verčia telefono skambučius tarp kalbų. Tačiau klientams nuolat prašant automatizuoti jų verslo telefono skambučius, o ne vien juos versti, pakeitėme kryptį į tai, kas dabar yra ThunderPhone.

Esamų platformų problema

Iš pradžių kūrėme balso agentus klientams kitų įmonių telefono DI platformose. Išbandėme beveik visas rinkoje esančias telefono DI platformas, tačiau, deja, jos neatitiko lūkesčių, ypač šiose srityse:

• Garso supratimas: Vieno transkribavimo modelio, paverčiančio naudotojo garsą tekstu, ribotumai reiškė, kad DI dažnai „neteisingai išgirsdavo“ naudotoją, ypač tikrinius vardus, neįprastus žodžius ir rašybą.
• Nurodymų laikymasis: Vienas greitas LLM, atliekantis tikrąjį skambučio „mąstymo darbą“, reiškė, kad DI dažnai sunkiai tinkamai laikydavosi nurodymų ir nukrypdavo nuo kelio.
• Sudėtingos integracijos: Mūsų išbandytos platformos labai apsunkindavo prisijungimą prie išorinės programinės įrangos: paprastai tekdavo įvesti išsamias JSON konfigūracijas įrankių iškvietimams ir nuolat su jomis kovoti, beveik negaunant jokio grįžtamojo ryšio, kol jos staiga pradėdavo veikti.
• Kaina: Esamos platformos paprastai kainavo labai brangiai: dažniausiai 10 centų už minutę ar daugiau už vidutinišką veikimą.

Nuosavo technologijų rinkinio kūrimas

Kai pasirašėme sutartį diegti pardavimo skambučių sprendimą verslo klientui, buvome priversti sukurti nuosavą pritaikytą technologijų rinkinį, kad patenkintume jo poreikius. Šis naudojimo atvejis buvo reiklus: kitaip nei klientų aptarnavimo srityje, kur skambinantieji dažniausiai priklauso nuo įmonės malonės, pardavimo skambučių metu žmonės greitai padeda ragelį.

Skambučio kokybė turi būti nepriekaištinga, kad pardavimas būtų įvykdytas, o potencialus klientas neprarastas. Tai reiškė, kad reikėjo tinkamai apdoroti daugybę tikrinių vardų ir jų rašybos variantų, įskaitant vardus bei adresus, kuriuos standartiniams transkribavimo modeliams sunku tiksliai atpažinti. Siekdami puikiai išspręsti šį naudojimo atvejį, sukūrėme tai, kas dabar yra ThunderPhone.

Tuo metu nuolat sutikdavome žmonių San Francisko balso DI bendruomenėje, kuriančių vertikalioms rinkoms skirtas balso agentų įmones — veterinarams, sunkvežimių vairuotojams ir kitiems. Keista, bet dauguma jų laikėsi tos pačios nuomonės: esamos platformos buvo pakankamai geros demonstracijoms, tačiau netinkamos realiam naudojimui.

Stebėtina, kad daugelis, jei ne dauguma, mūsų draugų iš vertikalioms rinkoms skirtų balso DI įmonių iš tikrųjų „kūrė savo“ technologijų rinkinius... Mums tai neturėjo jokios prasmės — tai iš esmės prilygsta situacijai, kai 10-ajame dešimtmetyje žiniatinklio startuoliai būtų turėję talpinti savo žiniatinklio serverius serveryje savo spintoje.

Tai supratę, nusprendėme, kad laikas mūsų telefono DI sistemą paversti platforma, kuria galėtų naudotis visi.

Vertikalioms rinkoms skirtų balso DI įmonių kūrėjai ir konsultantai turėtų galėti sutelkti dėmesį į savo tikslinės rinkos poreikių tenkinimą, pasitelkdami konkrečios pramonės šakos žinias — o ne į sudėtingą pagrindinės DI ir telefono technologijos inžineriją! Būtent tai šiandien pristatome su ThunderPhone.

Kelias iki šios vietos buvo ilgas! Atsiprašome visų, kurie užsiregistravo pas mus nuo praėjusių metų balandžio ir vis dar laukia prieigos: tai, kas, mūsų manymu, turėjo būti trumpas paskutinis sprintas, virto kelių mėnesių odisėja, bandant išsiaiškinti, kaip sujungti šiandien prieinamus modelius į kuo patikimesnę sistemą.

Tačiau dabar pagaliau veikiame — išbandykite ir pasakykite, ką manote!

Nors pašalinome pagrindinius nesklandumus, sistemoje neabejotinai dar gali būti klaidų. Jei pastebėsite problemų, rašykite el. paštu alex@thunderphone.com, ir pasirūpinsiu, kad jos jums būtų kuo greičiau ištaisytos. Taip pat praneškite, jei turite funkcijų pasiūlymų, ir pasistengsime juos įgyvendinti kuo greičiau.

Jei turite daugiau individualių poreikių, pavyzdžiui, reikia pritaikyto diegimo ir integravimo palaikymo, atitikties reikalavimų, viršijančių įprastą HIPAA ir GDPR, SLA ar individualių funkcijų, mielai aptarsime verslo lygio susitarimą. Susisiekite el. paštu alex@thunderphone.com, ir aptarsime jūsų poreikius bei tai, ar galime padėti.

Plačiau kalbant, mūsų įsipareigojimas jums yra toks: MŪSŲ darbas yra užtikrinti, kad ThunderPhone veiktų iš karto, jums įdedant kuo mažiau pastangų, ir kuo geriau tvarkytų jūsų įmonės skambučius, kiek tai įmanoma su šiandienos DI, neviršijant pasirinkto kainų lygio — Spark, Bolt ar Storm — ribų. Išbandykite mus — nekantraujame parodyti, ką gali ThunderPhone.

Praneškite, ką manote, ir ačiū už jūsų palaikymą!