Primele noastre impresii despre API-ul GPT-Live-1 pentru agenți vocali
OpenAI a lansat GPT-Live-1, noul său model vocal full-duplex, în API acum două zile. Construim și operăm agenți vocali AI în producție, așa că l-am pus pe un număr de telefon real și l-am sunat. Mult.
L-am testat cu un script de calificare a leadurilor calde de aproximativ 13.000 de tokeni, de la unul dintre clienții noștri din domeniul asigurărilor, cu replici obligatorii care trebuie rostite exact, reguli stricte de redare și întrebări de urmărire condiționale. Pe parcursul unei zile lungi, am efectuat circa 12 apeluri telefonice reale, aproximativ 25 de interviuri simulate și un lot de teste nestructurate.
Acestea sunt primele noastre impresii, cu transcrieri și audio. O analiză mai aprofundată urmează în scurt timp.
Transcrierile provin din apelurile noastre de test, așa cum au fost transcrise de GPT-Live. Am schimbat numele și formulările de identificare, am scurtat schimburile de replici și am combinat fragmentele separate. Marcajele temporale, în secunde de la începutul apelului, provin din înregistrările originale.
Naturalitatea este excepțională
GPT-Live-1 este cel mai natural interlocutor pe care l-am pus pe o linie telefonică. Este un progres real.
Ascultă și vorbește pe un flux audio continuu, fără etape separate de transcriere și sinteză. Majoritatea mecanismelor conversaționale pur și simplu funcționează. Apelanții au auzit primul său sunet la aproximativ 1,3 secunde după ce au încetat să vorbească (mediana), sau la circa 0,7 secunde fără segmentul telefonic. Nu am adăugat nicio detectare a activității vocale sau logică de gestionare a tururilor de vorbire. Gestionează întreruperile cu naturalețe, produce confirmări scurte naturale („Mhm”) și vorbește într-un ritm alert, asemănător celui uman.
Când primește obiective, nu replici de citit, își adaptează întrebările la conversație și acceptă corectările fără probleme:
Nu și-a pierdut niciodată calmul în fața corectărilor, întreruperilor sau a apelanților care își schimbau răspunsurile în timpul apelului. Dacă naturalitatea ar fi fost tot ce contează, această postare s-ar încheia aici. Din păcate, lucrurile sunt mai complexe.
Nu urmează instrucțiunile în mod fiabil
GPT-Live-1 nu urmează în mod fiabil instrucțiunile pentru comportamentele importante într-un apel telefonic bazat pe un script.
De mai multe ori, a răspuns la un „da” clar de parcă răspunsul ar fi fost „nu”, repetând întrebarea sau continuând ca și cum apelantul ar fi refuzat.
Cel mai constant eșec a fost interpretarea prea literală a instrucțiunilor. Promptul nostru spunea: dacă apelantul afirmă că statutul locuinței din evidență este greșit, întrebați dacă deține, închiriază sau locuiește cu părinții. Un apelant a spus „nu, acum o dețin”, ceea ce răspunde deja la acea întrebare. Modelul a citit totuși meniul:
O parte din ciudățeniile de la început au fost din vina promptului nostru, dar literalitatea s-a păstrat în fiecare variantă de prompt pe care am încercat-o. Orice răspuns pe care nu îl precizasem era gestionat mecanic, nu rațional.
De asemenea, uneori își exprimă gândurile cu voce tare sub presiune:
Numerele și șirurile alfanumerice sunt riscante
Ortografiile, adresele, datele de naștere și numerele de identificare trebuie să fie exacte. Aici vorbirea GPT-Live-1 are cele mai multe probleme.
Am observat că omite și înlocuiește caractere în șirurile alfanumerice. Aici citește un număr de dosar inventat; clipurile sunt nemodificate, cu excepția eliminării tăcerii. În engleză, transcrierea sa a fost corectă, însă în audio a adăugat un „Y”:
În rusă a fost mai rău: „Q” a devenit „X” atât în audio, cât și în transcriere.
Datele au provocat aceeași problemă. Un apelant a dat o dată de naștere ca cifre, pe care modelul a citit-o ulterior ca pe un număr:
De asemenea, uneori rostește o replică ce aparține apelantului:
Accente în alte limbi
Testăm noile modele vocale în toate cele 47 de limbi acceptate de produsul nostru. Rusa GPT-Live-1 era fluentă, dar avea un accent american pronunțat (în timp ce vocile TTS pe care le folosim în producție sună de obicei nativ):
Am încercat și luganda. La primul apel, a răspuns în swahili. La al doilea, a vorbit luganda, mai natural decât ne-am fi așteptat de la un model generalist, însă din nou cu un accent american pronunțat. Nu am testat fiecare limbă, dar ne așteptăm ca tiparul accentului să se generalizeze probabil. Acest lucru nu contează pentru un agent care vorbește doar engleză, însă este o limitare destul de semnificativă pentru cazurile de utilizare în alte limbi.
Câteva constrângeri ale API-ului care merită cunoscute
Pe baza a ceea ce am constatat săptămâna aceasta, câteva constrângeri ale API-ului contează pentru un agent real:
- Instrucțiunile sunt imuabile după începerea sesiunii și sunt limitate la 16.384 de tokenuri.
- Fluxul audio de ieșire nu se oprește niciodată — este transmisă și tăcerea — astfel că „audio oprit” nu poate fi folosit ca semnal de final de tură pentru cazurile de utilizare care trebuie să segmenteze turele.
- Este accesibil doar prin noul endpoint
v1/live/sessionsși nu era încă disponibil în Azure când am verificat.
Impresia noastră până acum
Agenții telefonici de producție trebuie să sune natural și să urmeze consecvent scripturile. GPT-Live-1 este extraordinar la primul aspect, însă are câteva probleme serioase cu al doilea. Vom efectua mai multe teste pe măsură ce trece timpul și vom continua să vă prezentăm constatările noastre.