Naši prvi dojmovi o API-ju GPT-Live-1 za glasovne agente
OpenAI je prije dva dana u API izdao GPT-Live-1, svoj novi potpuno dvosmjerni glasovni model. Izrađujemo i pokrećemo AI telefonske agente u produkciji, pa smo ga postavili na stvarni telefonski broj i nazvali ga. Puno puta.
Testirali smo ga sa skriptom za kvalifikaciju potencijalnih klijenata od otprilike 13.000 tokena jednog od naših klijenata iz osiguranja, s obaveznim doslovnim rečenicama, strogim pravilima ponavljanja i granajućim dodatnim pitanjima. Tijekom jednog dugog dana obavili smo desetak stvarnih telefonskih poziva, oko 25 simuliranih intervjua i skup nestrukturiranih testova.
Ovo su naši prvi dojmovi, s transkriptima i zvukom. Uskoro slijedi detaljniji tekst.
Transkripti su iz naših testnih poziva, kako ih je transkribirao GPT-Live. Promijenili smo imena i prepoznatljive formulacije, skratili razmjene i spojili podijeljene fragmente. Vremenske oznake, u sekundama od početka poziva, preuzete su iz izvornika.
Prirodnost je iznimna
GPT-Live-1 najprirodnije je zvučeći sugovornik kojeg smo postavili na telefonsku liniju. To je stvaran korak naprijed.
Sluša i govori u jednom neprekinutom audiotoku, bez zasebnih faza transkripcije i sinteze. Većina mehanike razgovora jednostavno funkcionira. Pozivatelji su prvi zvuk čuli otprilike 1,3 sekunde nakon što bi prestali govoriti (medijan), odnosno oko 0,7 sekundi bez telefonskog dijela veze. Nismo dodali nikakvu detekciju glasovne aktivnosti ni logiku izmjene redova govora. Dobro podnosi prekide, daje prirodne kratke potvrde ("Mm-hmm") i govori žustrim tempom nalik ljudskom.
Kada mu se zadaju ciljevi umjesto rečenica koje treba pročitati, pitanja prilagođava razgovoru i bez poteškoća prihvaća ispravke:
Nijednom nije izgubio pribranost pri ispravcima, prekidima ili kada bi pozivatelji usred poziva promijenili odgovor. Kad bi prirodnost bila cijeli posao, ovaj bi tekst ovdje završio. Nažalost, nije sve samo u tome.
Ne slijedi pouzdano upute
GPT-Live-1 ne slijedi pouzdano upute za ponašanja koja su važna u skriptiranom telefonskom pozivu.
Više je puta na jasno "da" odgovorio kao da je odgovor bio "ne", ponovno postavljajući pitanje ili nastavljajući kao da je pozivatelj odbio.
Najdosljedniji je problem bio previše doslovno tumačenje uputa. Naš je prompt govorio: ako pozivatelj kaže da je evidentirani stambeni status pogrešan, pitajte posjeduje li nekretninu, unajmljuje li je ili živi s roditeljima. Pozivatelj je rekao "no, I own it now", što već odgovara na to pitanje. Model je ipak pročitao cijeli izbornik:
Dio ranih neobičnosti bio je krivnja našeg prompta, no doslovnost se zadržala u svakoj varijanti prompta koju smo isprobali. Svaki odgovor koji nismo izričito naveli obrađivao je mehanički umjesto razumno.
Ponekad i glasno razmišlja pod pritiskom:
Brojevi i alfanumerički znakovi rizični su
Slovna imena, adrese, datumi rođenja i identifikacijski brojevi moraju biti točni. Upravo tu GPT-Live-1 ima najviše problema s govorom.
Čuli smo kako izostavlja i zamjenjuje znakove u alfanumeričkim nizovima. Ovdje čita izmišljeni broj zahtjeva; isječci su neizmijenjeni osim skraćene tišine. Na engleskom je prijepis bio točan, ali je zvuk dodao slovo „Y”:
Na ruskom je bilo još gore: slovo „Q” postalo je „X” i u zvuku i u prijepisu.
Datumi su uzrokovali isti problem. Pozivatelj je datum rođenja naveo znamenkama, a model ga je kasnije pročitao kao broj:
Povremeno izgovori i redak koji pripada pozivatelju:
Naglasci u drugim jezicima
Nove glasovne modele testiramo na svih 47 jezika koje naš proizvod podržava. Ruski modela GPT-Live-1 bio je tečan, ali s izraženim američkim naglaskom (dok TTS glasovi koje koristimo u produkciji obično zvuče izvorno):
Isprobali smo i lugandu. U prvom pozivu odgovorio je na svahiliju. U drugom je govorio lugandu, prirodnije nego što smo očekivali od općeg modela, ali ponovno s izraženim američkim naglaskom. Nismo testirali svaki jezik, ali očekujemo da se taj obrazac naglasaka vjerojatno ponavlja. To nije važno za agenta koji radi samo na engleskom, ali je prilično značajno ograničenje za slučajeve upotrebe na drugim jezicima.
Nekoliko API ograničenja koja vrijedi znati
Na temelju onoga što smo pronašli ovaj tjedan, nekoliko API ograničenja važno je za stvarnog agenta:
- Upute se ne mogu mijenjati nakon početka sesije i ograničene su na 16.384 tokena.
- Izlazni zvuk nikada ne prestaje sa strujanjem — prenosi se i tišina — stoga se „zvuk je prestao” ne može koristiti kao signal završetka poteza za slučajeve upotrebe koji trebaju razdvajati poteze.
- Dostupan je samo putem nove krajnje točke
v1/live/sessions, a još nije bio dostupan na Azureu kada smo provjerili.
Naš dosadašnji dojam
Produkcijski telefonski agenti moraju zvučati prirodno i dosljedno slijediti skripte. GPT-Live-1 je izvanredan u prvome, ali ima ozbiljnih problema s drugim. S vremenom ćemo provoditi još testova i nastaviti izvještavati o svojim nalazima.