Naše prvé dojmy z API GPT-Live-1 pre hlasových agentov
OpenAI pred dvoma dňami sprístupnilo v API GPT-Live-1, svoj nový plne obojsmerný hlasový model. Vytvárame a prevádzkujeme AI telefonických agentov v produkcii, takže sme ho nasadili na skutočné telefónne číslo a volali sme mu. Veľakrát.
Testovali sme ho so skriptom na kvalifikáciu perspektívnych záujemcov s približne 13 000 tokenmi od jedného z našich klientov v poisťovníctve, ktorý obsahoval povinné doslovné formulácie, prísne pravidlá opakovania údajov a rozvetvené doplňujúce otázky. Počas jedného dlhého dňa sme uskutočnili tucet skutočných telefonátov, približne 25 simulovaných rozhovorov a sériu neštruktúrovaných testov.
Toto sú naše prvé dojmy spolu s prepisy a zvukovými nahrávkami. Podrobnejší text čoskoro prinesieme.
Prepisy pochádzajú z našich testovacích hovorov a prepísal ich GPT-Live. Zmenili sme mená a identifikujúce formulácie, skrátili výmeny a spojili rozdelené fragmenty. Časové značky v sekundách od začiatku hovoru pochádzajú z originálov.
Prirodzenosť je výnimočná
GPT-Live-1 je najprirodzenejšie znejúci konverzačný partner, akého sme nasadili na telefónnej linke. Je to skutočný krok vpred.
Počúva a hovorí v jednom súvislom zvukovom prúde, bez oddelených fáz prepisu a syntézy. Väčšina mechaniky konverzácie jednoducho funguje. Volajúci počuli jeho prvý zvuk približne 1,3 sekundy po tom, ako prestali hovoriť (medián), alebo približne 0,7 sekundy bez telefónnej vetvy. Nepridali sme žiadnu detekciu hlasovej aktivity ani logiku striedania ťahov. Plynulo zvláda prerušovania, prirodzene reaguje krátkymi potvrdeniami („Mhm“) a hovorí svižným, ľudsky pôsobiacim tempom.
Keď dostane ciele namiesto viet na čítanie, prispôsobuje otázky konverzácii a korekcie prijíma bez zaváhania:
Nestratil pokoj ani pri opravách, prerušovaniach či pri volajúcich, ktorí počas hovoru zmenili odpoveď. Keby bola prirodzenosť celou úlohou, tento príspevok by sa skončil tu. Žiaľ, je toho viac.
Pokyny nedodržiava spoľahlivo
GPT-Live-1 nedodržiava spoľahlivo pokyny pri správaní, ktoré je pre skriptovaný telefonát dôležité.
Viac než raz reagoval na jasné „áno“, akoby odpoveď znela „nie“ — otázku položil znova alebo pokračoval, akoby volajúci odmietol.
Najkonzistentnejším zlyhaním bolo príliš doslovné chápanie pokynov. Náš prompt hovoril: ak volajúci povie, že evidovaný stav bývania nie je správny, opýtajte sa, či vlastní bývanie, býva v prenájme alebo žije s rodičmi. Volajúci povedal „nie, teraz ho vlastním“, čím už na túto otázku odpovedal. Model aj tak prečítal ponuku možností:
Za niektoré skoré zvláštnosti mohol náš prompt, no doslovnosť pretrvala pri každom variante promptu, ktorý sme vyskúšali. Každú odpoveď, ktorú sme výslovne neuviedli, spracoval mechanicky namiesto rozumne.
Niekedy tiež pod tlakom premýšľa nahlas:
Čísla a alfanumerické údaje sú rizikové
Hláskovanie, adresy, dátumy narodenia a identifikačné čísla musia byť presné. Práve pri nich má reč GPT-Live-1 najviac problémov.
Počuli sme, ako vynecháva a nahrádza znaky v alfanumerických reťazcoch. Tu číta vymyslené číslo poistnej udalosti; nahrávky sú neupravené, okrem odstránenia ticha. V angličtine bol prepis správny, no zvuk pridal písmeno „Y“:
V ruštine to bolo horšie: „Q“ sa zmenilo na „X“ v zvuku aj v prepise.
Rovnaký problém spôsobovali aj dátumy. Volajúci uviedol dátum narodenia ako číslice, ktoré model neskôr prečítal ako jedno číslo:
Občas tiež povie repliku, ktorá patrí volajúcemu:
Prízvuky v iných jazykoch
Nové hlasové modely testujeme vo všetkých 47 jazykoch, ktoré náš produkt podporuje. Ruština GPT-Live-1 bola plynulá, ale mala výrazný americký prízvuk (zatiaľ čo hlasy TTS, ktoré používame v produkcii, zvyčajne znejú ako od rodených hovoriacich):
Vyskúšali sme aj lugandčinu. Pri prvom hovore namiesto nej odpovedal po svahilsky. Pri druhom hovoril lugandsky, prirodzenejšie, než by sme od všeobecného modelu očakávali, ale opäť s výrazným americkým prízvukom. Netestovali sme každý jazyk, no predpokladáme, že tento vzorec prízvuku sa pravdepodobne opakuje všeobecne. Pre agenta fungujúceho len v angličtine to nevadí, pri prípadoch použitia v iných jazykoch je to však pomerne významné obmedzenie.
Niekoľko dôležitých obmedzení API
Na základe toho, čo sme tento týždeň zistili, sú pre reálneho agenta dôležité tieto obmedzenia API:
- Pokyny sú po spustení relácie nemenné a ich limit je 16 384 tokenov.
- Výstupný zvuk nikdy neprestáva streamovať — streamuje sa aj ticho — preto nemožno „zastavenie zvuku“ použiť ako signál konca ťahu pri prípadoch použitia, ktoré potrebujú segmentovať ťahy.
- Je dostupné iba cez nový koncový bod
v1/live/sessionsa keď sme to kontrolovali, na Azure ešte nebolo k dispozícii.
Náš doterajší dojem
Produkční telefónni agenti musia znieť prirodzene a konzistentne dodržiavať scenáre. GPT-Live-1 je v tom prvom úžasný, no v tom druhom má niekoľko vážnych problémov. Postupom času budeme vykonávať ďalšie testy a naďalej zverejňovať naše zistenia.