Vi lanserer ThunderPhone

I dag er vi stolte av å kunngjøre den offentlige lanseringen av ThunderPhone, som gjør det enkelt å automatisere telefonsamtaler med AI. Med en fullstendig annerledes integrert arkitektur enn andre AI-plattformer for telefoni kan ThunderPhone oppnå betydelig høyere ytelse, lavere kostnader og færre problemer med integrasjoner. ThunderPhone støtter innkommende og utgående samtaler på dusinvis av språk og er i samsvar med HIPAA og GDPR.

Fordelen med integrasjon

Andre AI-plattformer for telefoni begrenser ytelsen til systemene sine ved å tvinge dem inn i en struktur med tre trinn:

1. Én transkripsjonsmodell som gjør brukerens stemme om til tekst.
2. Én LLM som behandler brukerens tekst og gir et svar.
3. Én TTS-modell som gjør svartesksten tilbake til lyd.

De fleste skyver også utviklingsarbeid over på brukerne sine ved å tvinge dem til å velge hvilke modeller de vil bruke, samt konfigurasjonsalternativer som støydemping og parametere for responshastighet.

Vi har valgt en annen tilnærming: Vi har satt opp det vi mener er den best mulige stakken med dagens modeller, og gjort den klar til bruk uten omfattende konfigurasjonsarbeid. Systemet vårt bruker mange modeller samtidig og ruter intelligent mellom dem avhengig av samtalens forløp. Dette omfatter:

• Å kombinere flere transkripsjonsmodeller, der noen er raskere enn andre og noen er mer nøyaktige enn andre, for å balansere hastighet og nøyaktighet og kompensere for hverandres feil.
• Å kombinere LLM-er med lyd som inndata, som kan ha lavere generell intelligens, men bedre forståelse av lyd, med LLM-er som kun bruker tekst, som kan gjøre feil på grunn av unøyaktige transkripsjoner, men ofte er smartere.
• Å kombinere raske, men dumme LLM-er, som kan generere raske svar, med langt smartere, men tregere LLM-er, som kan kjøre i bakgrunnen og sikre at AI-en følger instruksen sin og svarer riktig på det brukeren sier.
• Å kombinere kommersielle modeller fra ledende leverandører, inkludert OpenAI og Google, som tilbyr den høyeste intelligensen som er tilgjengelig i dag, med et bredt utvalg av åpen kildekode-modeller, som ofte gir bedre hastighet til lavere kostnad.
• Å bruke flere modeller samtidig for å klassifisere og fjerne bakgrunnsstøy, samtaler i bakgrunnen og annen forstyrrende støy som ellers kan spore av en samtale.

Disse komponentene og mer til orkestreres på ulike måter i våre tre tjenestenivåer, Spark, Bolt og Storm — der Spark optimaliseres for kostnad, Bolt for hastighet og Storm for intelligens, samtidig som ulempene ved hver av dem minimeres så mye som mulig. Alle tre systemene deler fordeler som utrolig nøyaktig forståelse av hva brukerne sier, selv med egennavn og staving.

Vi opplever at denne tett integrerte arkitekturen gir systemet vårt langt høyere ytelse til lavere kostnad enn den rigide tretrinnstilnærmingen andre leverandører tilbyr. I tråd med Clay Christensens modularitetsteori er stemme-AI fortsatt i en tidlig fase, og det er fortsatt mer verdifullt å maksimere ytelsen med en integrert arkitektur enn å maksimere tilpasningsmulighetene med en modulær arkitektur.

Optimaliserte valg

Når det gjelder tilpasningsmuligheter, er vi imot det! De fleste av dagens AI-plattformer for telefoni tvinger brukerne til å navigere gjennom endeløse valg, fra nøyaktig hvilke modeller som brukes, til svært detaljerte parametere som hvor raskt AI-en avbryter brukeren.

Etter vår mening er det VÅR jobb å optimalisere disse valgene i kulissene, slik at ThunderPhone-brukere kan fokusere på det de er gode på, uten å bekymre seg for detaljert konfigurasjon av stemme-AI. Vi ser på oss selv som en slags Squarespace, som gjør det enkelt for brukerne våre å sette opp stemmeagenter med best mulig ytelse med dagens modeller, uten å løfte en finger.

Enkel å bruke

ThunderPhone er også svært enkel å bruke, enten du setter opp en ny stemmeagent eller migrerer fra en annen plattform eller en egenutviklet teknologistack. Alt du trenger å gjøre for å sette opp en stemmeagent på ThunderPhone, er:

1. Bestem om du vil bruke Spark, Bolt eller Storm.
2. Velg en stemme.
3. Gi oss prompten din. Du trenger ikke agenter med flere prompter! Hvis prompten din er for komplisert for Spark eller Bolt, kan du oppgradere til Storm, som håndterer selv komplekse brukstilfeller med én enkelt prompt.
4. Koble til programvareintegrasjoner (ethvert endepunkt eller innebygd n8n-integrasjon) med en svært brukervennlig veiviser.
5. Koble til VoIP med en svært brukervennlig veiviser.

Alt dette tar vanligvis 10 minutter eller mindre.

ThunderPhone er i samsvar med HIPAA og GDPR, og vi signerer og tilbyr BAA-er og DPA-er på forespørsel.

Historien vår

Vi er et team av alumner fra Stanford AI Lab og Y Combinator som har jobbet med stemme-KI siden 2024. Opprinnelig fokuserte vi på Flux Interpreting, som oversetter telefonsamtaler mellom språk. Men etter at kunder gjentatte ganger ba oss automatisere telefonsamtaler for virksomhetene deres, i stedet for bare å oversette dem, skiftet vi fokus til det som nå er ThunderPhone.

Problemet med eksisterende plattformer

I starten bygget vi telefonagenter for kunder på andre selskapers KI-plattformer for telefoni. Vi testet omtrent alle KI-plattformene for telefoni på markedet, men opplevde dessverre at de ikke strakk til, særlig når det gjaldt:

• Forståelse av lyd: Begrensningen ved å bare ha én transkripsjonsmodell til å gjøre brukerens lyd om til tekst gjorde at KI-en ofte «hørte feil» på brukeren, særlig når det gjaldt egennavn, uvanlige ord og stavemåter.
• Å følge instruksjoner: Når én enkelt rask LLM sto for selve «hjernearbeidet» bak samtalen, slet KI-ene ofte med å følge instruksjoner riktig og kunne spore av.
• Vanskelige integrasjoner: Plattformene vi prøvde gjorde det svært vanskelig å koble til ekstern programvare. Vi måtte som regel skrive omfattende JSON-konfigurasjoner for verktøykall og kjempe med dem gjentatte ganger, med lite eller ingen tilbakemelding før de plutselig begynte å fungere.
• Pris: Eksisterende plattformer tok som regel svært godt betalt: vanligvis 10 cent i minuttet eller mer for middelmådig ytelse.

Å bygge vår egen stack

Da vi inngikk en avtale om å implementere et brukstilfelle for salgssamtaler for en bedriftskunde, ble vi nødt til å bygge vår egen tilpassede stack for å dekke behovene deres. Dette brukstilfellet var krevende: I motsetning til kundestøtte, der innringere i stor grad er avhengige av bedriften, legger personer som blir ringt opp for salg raskt på.

Samtalekvaliteten må være helt i toppklasse for å få salget i stedet for å miste leadet. Det betydde at vi måtte håndtere mange egennavn og stavemåter, inkludert navn og adresser, som standard transkripsjonsmodeller har vanskelig for å få riktig. For å lykkes med dette brukstilfellet bygget vi det som nå er ThunderPhone.

Underveis møtte vi stadig folk i stemme-KI-miljøet i San Francisco som bygget vertikale selskaper for telefonagenter — for veterinærer, lastebilsjåfører og mer. Overraskende nok hadde de fleste samme oppfatning: Eksisterende plattformer var gode nok for demoer, men ikke for produksjon.

Sjokkerende nok bygget mange, om ikke de fleste, av vennene våre i vertikale stemme-KI-selskaper faktisk sine egne stacker ... Det ga ingen mening for oss — det tilsvarer egentlig at weboppstarter på 90-tallet måtte drifte sine egne webservere på en server i klesskapet.

Med den innsikten innså vi at tiden var inne for å gjøre KI-systemet vårt for telefoni om til en plattform som alle kan bruke.

Vertikale stemme-KI-selskaper og konsulenter bør kunne fokusere på å dekke behovene i målmarkedet sitt med sin bransjespesifikke ekspertise — ikke på å finjustere den underliggende KI- og telefoniteknologien på detaljnivå! Det er dette vi lanserer i dag med ThunderPhone.

Det har vært en lang vei hit! Beklager til alle som har registrert seg hos oss siden april i fjor og fortsatt venter på tilgang: Det vi trodde ville være en rask sprint for å fullføre jobben, viste seg å bli en reise over flere måneder for å finne ut hvordan vi kunne veve sammen modellene som finnes i dag til et system som er så robust som mulig.

Men nå er vi endelig live — prøv det og se hva du synes!

Selv om vi har løst de største utfordringene, vil det helt sikkert fortsatt finnes feil i systemet. Hvis du finner problemer, kan du sende en e-post til alex@thunderphone.com, så skal jeg sørge for at det blir rettet for deg så raskt som mulig. Gi også beskjed hvis du har ønsker om funksjoner, så skal vi få dem på plass så snart vi kan.

Og hvis du har mer tilpassede behov, som støtte til tilpasset implementering og integrasjon, compliance utover vanlig HIPAA og GDPR, SLA-er og ønsker om tilpassede funksjoner, snakker vi gjerne om en bedriftsavtale. Ta kontakt på alex@thunderphone.com, så snakker vi om behovene dine og om vi kan hjelpe.

Og mer generelt: Vår forpliktelse til deg er at det er VÅR jobb å sørge for at ThunderPhone fungerer rett ut av boksen med minst mulig innsats fra deg, og håndterer virksomhetens samtaler så perfekt som det er mulig med dagens KI, innenfor rammene av prisnivået du velger: Spark, Bolt eller Storm. Prøv oss, så gleder vi oss til å vise deg hva ThunderPhone kan gjøre.

Fortell oss hva du synes, og takk for støtten!