Vores første indtryk af GPT-Live-1 API'et til stemmeagenter

OpenAI frigav GPT-Live-1, deres nye fulddupleks-stemmemodel, til API'et for to dage siden. Vi bygger og driver AI-telefonagenter i produktion, så vi satte den på et rigtigt telefonnummer og ringede til den. Rigtig mange gange.

Vi testede den med et kvalificeringsscript på cirka 13.000 tokens til varme leads fra en af vores forsikringskunder, med påkrævede ordrette replikker, strenge regler for gentagelse og forgrenede opfølgende spørgsmål. I løbet af en lang dag gennemførte vi et dusin rigtige telefonopkald, omkring 25 simulerede interviews og en række ustrukturerede tests.

Her er vores første indtryk med transskriptioner og lyd. En mere dybdegående gennemgang kommer snart.

Transskriptionerne er fra vores testopkald, transskriberet af GPT-Live. Vi har ændret navne og identificerende formuleringer, forkortet udvekslinger og samlet opdelte fragmenter. Tidsstemplerne, i sekunder fra opkaldets start, er fra originalerne.

Naturligheden er enestående

GPT-Live-1 er den mest naturligt klingende samtalepartner, vi har sat på en telefonlinje. Det er et reelt skridt fremad.

Den lytter og taler på én sammenhængende lydstream uden separate trin til transskription og syntese. Det meste af samtalemekanikken fungerer bare. Opkaldere hørte den første lyd fra den omkring 1,3 sekunder efter, de holdt op med at tale (median), eller omkring 0,7 sekunder uden telefonleddet. Vi tilføjede ingen registrering af taleaktivitet eller logik for turskifte. Den håndterer afbrydelser elegant, laver naturlige små bekræftelser ("Mm-hmm") og taler i et raskt, menneskeligt tempo.

Når den får mål frem for replikker, den skal læse op, tilpasser den spørgsmålene til samtalen og håndterer rettelser uden problemer:

Den mistede aldrig fatningen, hverken ved rettelser, afbrydelser eller når opkaldere ændrede deres svar midt i opkaldet. Hvis naturlighed var hele opgaven, ville dette indlæg slutte her. Desværre er der mere i det end det.

Den følger ikke instruktioner pålideligt

GPT-Live-1 følger ikke pålideligt instruktioner for den adfærd, der betyder noget i et scriptet telefonopkald.

Mere end én gang reagerede den på et tydeligt "ja", som om svaret havde været "nej", og stillede spørgsmålet igen eller gik videre, som om opkalderen havde afvist.

Den mest konsekvente fejl var, at den tog instruktioner for bogstaveligt. Vores prompt sagde: Hvis opkalderen siger, at boligstatussen i sagen er forkert, så spørg, om vedkommende ejer, lejer eller bor hos sine forældre. En opkalder sagde "nej, jeg ejer den nu", hvilket allerede besvarer det spørgsmål. Modellen læste alligevel menuen op:

Noget af den tidlige mærkelige adfærd var vores prompts skyld, men bogstaveligheden gik igen i alle de promptvarianter, vi prøvede. Ethvert svar, vi ikke havde skrevet eksplicit, blev håndteret mekanisk i stedet for fornuftigt.

Den tænker også nogle gange højt under pres:

Tal og alfanumeriske tegn er risikable

Stavemåder, adresser, fødselsdatoer og ID-numre skal være præcise. Det er her, GPT-Live-1's tale har flest problemer.

Vi hørte den udelade og erstatte tegn i alfanumeriske strenge. Her læser den et opdigtet skadesnummer op; klippene er urørte bortset fra, at stilhed er klippet væk. På engelsk var transskriptionen korrekt, men lyden tilføjede et "Y":

På russisk var det værre: "Q" blev til et "X" både i lyden og i transskriptionen.

Datoer gav det samme problem. En opkalder angav en fødselsdato som cifre, som modellen senere læste tilbage som et tal:

Den siger også af og til en replik, der hører til opkalderen:

Accenter på andre sprog

Vi tester nye stemmemodeller på tværs af de 47 sprog, vores produkt understøtter. GPT-Live-1's russisk var flydende, men havde en kraftig amerikansk accent (mens de TTS-stemmer, vi kører i produktion, typisk lyder som modersmålstalende):

Vi prøvede også luganda. På det første opkald svarede den i stedet på swahili. På det andet talte den luganda, mere naturligt end vi havde forventet af en generel model, men igen med en kraftig amerikansk accent. Vi har ikke testet alle sprog, men vi forventer, at accentmønstret sandsynligvis gælder bredt. Det betyder ikke noget for en engelsksproget agent, men det er et ret væsentligt forbehold for brugsscenarier på andre sprog.

Nogle API-begrænsninger, der er værd at kende

Ud fra det, vi fandt denne uge, er der nogle API-begrænsninger, som betyder noget for en rigtig agent:

• Instruktioner kan ikke ændres, efter sessionen er startet, og de er begrænset til 16.384 tokens.
• Outputlyden stopper aldrig med at streame — også stilhed streames — så "lyd stoppet" kan ikke bruges som signal for afslutningen på en tur i brugsscenarier, der har brug for at opdele ture.
• Den kan kun nås via det nye v1/live/sessions-endepunkt, og den var endnu ikke tilgængelig på Azure, da vi tjekkede.

Vores indtryk indtil videre

Telefonagenter i produktion skal lyde naturlige og følge scripts konsekvent. GPT-Live-1 er fantastisk til det første, men har nogle alvorlige problemer med det sidste. Vi kommer til at køre flere tests løbende og fortsætter med at dele vores resultater.