Představujeme ThunderPhone

Dnes s hrdostí oznamujeme veřejné spuštění ThunderPhone, které usnadňuje automatizaci telefonních hovorů pomocí AI. Díky zcela odlišné integrované architektuře oproti jiným platformám telefonní AI dokáže ThunderPhone dosahovat výrazně vyššího výkonu, nižších nákladů a méně potíží s integracemi. ThunderPhone podporuje příchozí i odchozí hovory v desítkách jazyků a splňuje požadavky HIPAA i GDPR.

Výhoda integrace

Jiné platformy telefonní AI omezují výkon svých systémů tím, že jim vnucují třístupňovou strukturu:

1. Jeden model přepisu, který převádí hlas uživatele na text.
2. Jeden LLM, který zpracuje text uživatele a vytvoří odpověď.
3. Jeden model TTS, který převádí text odpovědi zpět na zvuk.

Většina z nich také přenáší technickou práci na své uživatele tím, že je nutí vybírat modely, které chtějí používat, i možnosti konfigurace, jako jsou parametry odšumění a odezvy.

Zvolili jsme jiný přístup: nakonfigurovali jsme podle našeho názoru nejlepší možný stack ze současných modelů a připravili ho k použití bez složitého konfiguračního úsilí. Náš systém využívá současně mnoho modelů a inteligentně mezi nimi směruje podle průběhu konverzace. To zahrnuje:

• Kombinování více modelů přepisu, z nichž některé jsou rychlejší a jiné přesnější, aby se vyvážila rychlost s přesností a pokryly se chyby jednotlivých modelů.
• Kombinování LLM se zvukovým vstupem, které mohou mít nižší obecnou inteligenci, ale lépe rozumět zvuku, s LLM pouze pro text, které mohou chybovat kvůli nepřesným přepisům, ale často jsou chytřejší.
• Kombinování rychlých, ale méně inteligentních LLM, které mohou vytvářet rychlé odpovědi, s mnohem chytřejšími, ale pomalejšími LLM, které mohou běžet na pozadí a zajišťovat, že se AI řídí svým zadáním a správně reaguje na to, co uživatel říká.
• Kombinování komerčních modelů od předních poskytovatelů včetně OpenAI a Google, které nabízejí dnes dostupnou nejvyšší inteligenci, s širokou škálou open-source modelů, které často nabízejí vyšší rychlost za nižší náklady.
• Současné využívání více modelů ke klasifikaci a eliminaci hluku na pozadí, vedlejších konverzací a dalšího rušivého hluku, který by jinak mohl narušit konverzaci.

Tyto a další komponenty jsou různými způsoby orchestrace v našich třech úrovních služeb Spark, Bolt a Storm — Spark optimalizujeme pro náklady, Bolt pro rychlost a Storm pro inteligenci, přičemž co nejvíce minimalizujeme nevýhody každé z nich. Všechny tři systémy sdílejí výhody, jako je neuvěřitelně přesné porozumění tomu, co uživatelé říkají, a to i u vlastních jmen a hláskování.

Zjistili jsme, že tato těsně integrovaná architektura poskytuje našemu systému výrazně vyšší výkon při nižších nákladech než rigidní třístupňový přístup nabízený jinými dodavateli. V souladu s teorií modularity Claye Christensena jsou hlasové AI stále teprve na začátku a stále je cennější maximalizovat výkon pomocí integrované architektury než maximalizovat přizpůsobitelnost pomocí modulární architektury.

Optimalizovaná rozhodnutí

A pokud jde o přizpůsobitelnost, jsme proti ní. Většina dnešních platforem pro telefonní AI nutí uživatele procházet nekonečnými možnostmi — od přesných používaných modelů až po ultradetailní parametry, jako je rychlost, s jakou AI uživateli skáče do řeči.

Podle našeho názoru je NAŠÍ prací optimalizovat tato rozhodnutí na pozadí, aby se uživatelé ThunderPhone mohli soustředit na to, v čem jsou dobří, a nemuseli řešit podrobnou konfiguraci hlasové AI. Vnímáme se jako určitý druh Squarespace, který uživatelům usnadňuje nastavení telefonních agentů s absolutně nejvyšším výkonem, jaký dnešní modely umožňují, aniž by museli hnout prstem.

Snadné používání

ThunderPhone se také neuvěřitelně snadno používá, ať už nastavujete nového telefonního agenta, nebo migrujete z jiné platformy či vlastního technologického řešení. K nastavení telefonního agenta na ThunderPhone stačí:

1. Rozhodnout se, zda chcete používat Spark, Bolt nebo Storm.
2. Vybrat hlas.
3. Poskytnout nám svůj prompt. Agenti s více prompty nejsou potřeba. Pokud je váš prompt pro Spark nebo Bolt příliš složitý, přejděte na Storm, který zvládne i komplexní případy použití pomocí jediného promptu.
4. Propojit softwarové integrace (libovolný endpoint nebo nativní integraci n8n) pomocí mimořádně snadno použitelného průvodce.
5. Propojit své VoIP pomocí mimořádně snadno použitelného průvodce.

To vše obvykle zabere 10 minut nebo méně.

ThunderPhone splňuje požadavky HIPAA a GDPR a na vyžádání podepíšeme a poskytneme BAA a DPA.

Náš příběh

Jsme tým absolventů Stanford AI Lab a Y Combinator, který se hlasové AI věnuje od roku 2024. Původně jsme se zaměřovali na Flux Interpreting, který překládá telefonní hovory mezi jazyky. Když nás však zákazníci opakovaně žádali, abychom pro jejich firmy telefonní hovory automatizovali, a ne je jen překládali, přesunuli jsme pozornost k tomu, čím je dnes ThunderPhone.

Problém stávajících platforem

Zpočátku jsme pro zákazníky vytvářeli hlasové agenty na platformách hlasové AI jiných společností. Vyzkoušeli jsme prakticky každou platformu hlasové AI na trhu, ale bohužel jsme zjistili, že mají nedostatky, zejména v těchto oblastech:

• Porozumění zvuku: Omezení spočívající v použití jediného transkripčního modelu pro převod zvuku uživatele na text znamenalo, že AI uživatele často „špatně slyšela“, zejména u vlastních jmen, neobvyklých slov a hláskování.
• Dodržování pokynů: Jediný rychlý LLM, který vykonával skutečnou „mentální práci“ během hovoru, znamenal, že AI často měla potíže správně dodržovat pokyny a ztrácela směr.
• Náročné integrace: Platformy, které jsme vyzkoušeli, velmi ztěžovaly propojení s externím softwarem. Obvykle nás nutily zadávat rozsáhlé konfigurace JSON pro volání nástrojů a opakovaně je zkoušet přes bash, prakticky bez zpětné vazby, dokud náhle nezačaly fungovat.
• Cena: Stávající platformy si obecně účtovaly nehorázné částky: obvykle 10 centů za minutu nebo více za průměrný výkon.

Budování vlastního stacku

Když jsme podepsali smlouvu na implementaci scénáře prodejních hovorů pro podnikového klienta, byli jsme nuceni vytvořit vlastní stack na míru, abychom splnili jeho potřeby. Tento scénář byl náročný: na rozdíl od zákaznické podpory, kde jsou volající do značné míry odkázáni na firmu, volající v prodeji rychle zavěsí.

Kvalita hovoru musí být špičková, aby došlo k prodeji a neztratili jste potenciálního zákazníka. To znamenalo zvládnout velké množství vlastních jmen a hláskování, včetně jmen a adres, které standardní transkripční modely jen obtížně správně rozpoznávají. Abychom tento scénář zvládli dokonale, vytvořili jsme to, čím je dnes ThunderPhone.

Cestou jsme se v komunitě hlasové AI v San Francisku neustále setkávali s lidmi, kteří budovali společnosti s vertikálně zaměřenými hlasovými agenty — pro veterináře, řidiče kamionů a další. Překvapivě měla většina z nich stejný názor: stávající platformy byly dostatečně dobré pro dema, ale ne pro produkční nasazení.

Je až šokující, že mnoho, ne-li většina našich přátel ve společnostech zaměřených na vertikální hlasovou AI, si ve skutečnosti „stavěla vlastní“ stacky... Nedávalo nám to smysl — je to v podstatě obdoba webových startupů v 90. letech, které musely provozovat vlastní webové servery na serveru ve skříni.

Díky tomuto poznání jsme si uvědomili, že nastal čas proměnit náš systém hlasové AI v platformu, kterou může používat kdokoli.

Společnosti s vertikálně zaměřenou hlasovou AI a konzultanti by se měli moci soustředit na potřeby svého cílového trhu s využitím odbornosti ve svém oboru — ne na složité technické vytváření základní AI a telefonní technologie! Právě to dnes spouštíme s ThunderPhone.

Byla to dlouhá cesta! Omlouváme se všem, kdo se u nás zaregistrovali od loňského dubna a stále čekají na přístup: z toho, co jsme považovali za rychlý sprint k dokončení práce, se stala několikaměsíční odysea, během níž jsme zjišťovali, jak propojit dnes dostupné modely do co nejrobustnějšího systému.

Teď jsme ale konečně spuštěni — vyzkoušejte si to a řekněte nám, co si myslíte!

Přestože jsme vyřešili hlavní nedostatky, v systému se jistě stále mohou vyskytovat chyby. Pokud narazíte na jakýkoli problém, napište prosím na alex@thunderphone.com a postarám se, aby byl co nejdříve opraven. Dejte mi také vědět, pokud máte požadavky na funkce, a co nejdříve je pro vás také zrealizujeme.

A pokud máte specifičtější potřeby, například podporu při implementaci a integraci na míru, požadavky na soulad nad rámec běžných HIPAA a GDPR, SLA nebo požadavky na funkce na míru, rádi si s vámi promluvíme o podnikové smlouvě. Ozvěte se na alex@thunderphone.com a probereme vaše potřeby i to, zda vám můžeme pomoci.

A obecněji: zavazujeme se vám, že je NAŠÍ prací zajistit, aby ThunderPhone fungoval ihned po spuštění s minimálním úsilím z vaší strany a aby hovory vaší firmy vyřizoval tak dokonale, jak je to s dnešní AI možné, v rámci cenové úrovně, kterou si zvolíte — Spark, Bolt nebo Storm. Vyzkoušejte nás, těšíme se, až vám ukážeme, co ThunderPhone dokáže.

Dejte nám vědět, co si myslíte, a děkujeme za vaši podporu!