Pirmieji įspūdžiai apie GPT-Live-1 API, skirtą balso agentams
Prieš dvi dienas OpenAI API pristatė GPT-Live-1 – naują visiško dvipusio ryšio balso modelį. Kuriame ir produkcinėje aplinkoje valdome AI telefono agentus, todėl prijungėme jį prie tikro telefono numerio ir paskambinome. Daug kartų.
Jį išbandėme su vieno mūsų draudimo klientų maždaug 13 000 žetonų potencialaus kliento kvalifikavimo scenarijumi, kuriame buvo privalomų pažodžiui sakomų eilučių, griežtos pakartotinio perskaitymo taisyklės ir išsišakojantys papildomi klausimai. Per vieną ilgą dieną atlikome keliolika tikrų telefono skambučių, apie 25 simuliuotus pokalbius ir grupę nestruktūruotų testų.
Tai pirmieji mūsų įspūdžiai su transkripcijomis ir garso įrašais. Išsamesnį aprašymą netrukus paskelbsime.
Transkripcijos yra iš mūsų bandomųjų skambučių, jas parengė GPT-Live. Pakeitėme vardus ir atpažįstamas formuluotes, sutrumpinome dialogus ir sujungėme padalytus fragmentus. Laiko žymos sekundėmis nuo skambučio pradžios yra iš originalų.
Natūralumas yra išskirtinis
GPT-Live-1 yra natūraliausiai skambantis pokalbio dalyvis, kurį esame prijungę prie telefono linijos. Tai tikras žingsnis į priekį.
Jis klausosi ir kalba vienu nepertraukiamu garso srautu, be atskirų transkripcijos ir sintezės etapų. Dauguma pokalbio mechanikos dalių tiesiog veikia. Skambinantieji pirmą jo garsą išgirdo maždaug po 1,3 sekundės nuo tada, kai nustojo kalbėti (mediana), arba maždaug po 0,7 sekundės be telefono ryšio grandies. Nepridėjome jokio balso veiklos aptikimo ar kalbėjimo eiliškumo valdymo. Jis sklandžiai reaguoja į pertraukimus, natūraliai parodo, kad klausosi („Mhm“), ir kalba greitu, žmogišku tempu.
Pateikus tikslus, o ne perskaitytinas eilutes, jis pritaiko klausimus prie pokalbio ir ramiai priima pataisymus:
Jis nė karto neprarado ramybės, net kai skambinantieji taisėsi, pertraukdavo ar skambučio metu pakeisdavo savo atsakymus. Jei natūralumas būtų visas reikalavimas, šis įrašas čia ir baigtųsi. Deja, svarbu ne vien tai.
Jis nepatikimai laikosi nurodymų
GPT-Live-1 nepatikimai laikosi nurodymų, susijusių su elgsena, svarbia skambučiui pagal scenarijų.
Ne kartą į aiškų „taip“ jis sureagavo taip, tarsi atsakymas būtų buvęs „ne“: pakartojo klausimą arba tęsė pokalbį taip, tarsi skambinantysis būtų atsisakęs.
Nuosekliausiai pasikartojanti problema buvo pernelyg pažodinis nurodymų supratimas. Mūsų nurodyme buvo parašyta: jei skambinantysis sako, kad sistemoje nurodyta būsto situacija neteisinga, paklauskite, ar jis turi nuosavą būstą, nuomojasi būstą, ar gyvena su tėvais. Skambinantysis pasakė „ne, dabar jis mano“, ir tai jau atsako į šį klausimą. Vis dėlto modelis perskaitė visą pasirinkimų sąrašą:
Kai kurie ankstyvi keistumai buvo mūsų nurodymo klaida, tačiau pažodinis interpretavimas išliko visuose mūsų išbandytuose nurodymų variantuose. Su kiekvienu atsakymu, kurio nebuvome aiškiai numatę, jis elgėsi mechaniškai, o ne apdairiai.
Kartais, patirdamas spaudimą, jis taip pat mąsto garsiai:
Skaičiai ir raidžių bei skaitmenų kombinacijos kelia riziką
Vardų rašyba, adresai, gimimo datos ir tapatybės dokumentų numeriai turi būti tikslūs. Būtent čia GPT-Live-1 kalboje kyla daugiausia problemų.
Girdėjome, kaip jis praleidžia ir pakeičia simbolius raidžių bei skaitmenų eilutėse. Čia jis perskaito išgalvotą žalos bylos numerį; įrašai nepakeisti, tik iškirpta tyla. Angliškai jo transkripcija buvo teisinga, tačiau garso įraše atsirado „Y“:
Rusiškai buvo dar blogiau: tiek garso įraše, tiek transkripcijoje „Q“ virto „X“.
Datos sukėlė tą pačią problemą. Skambinantysis gimimo datą pateikė skaitmenimis, kuriuos modelis vėliau perskaitė kaip vieną skaičių:
Jis taip pat kartais ištaria eilutę, kuri priklauso skambinančiajam:
Akcentai kitomis kalbomis
Naujus balso modelius testuojame visomis 47 kalbomis, kurias palaiko mūsų produktas. GPT-Live-1 rusų kalba buvo sklandi, tačiau su ryškiu amerikietišku akcentu, nors mūsų produkcinėje aplinkoje naudojami TTS balsai paprastai skamba kaip gimtakalbių:
Taip pat išbandėme lugandų kalbą. Per pirmąjį skambutį jis vietoje jos atsakė suahilių kalba. Per antrąjį jis kalbėjo lugandų kalba, natūraliau, nei tikėjomės iš bendros paskirties modelio, tačiau ir vėl su ryškiu amerikietišku akcentu. Neišbandėme kiekvienos kalbos, tačiau tikimės, kad akcento tendencija tikriausiai pasikartoja plačiau. Angliškai veikiančiam agentui tai nesvarbu, tačiau kitų kalbų naudojimo atvejams tai yra gana reikšminga išlyga.
Keli API apribojimai, kuriuos verta žinoti
Remiantis tuo, ką nustatėme šią savaitę, tikram agentui svarbūs keli API apribojimai:
- Nurodymų negalima keisti prasidėjus sesijai, o jų apimtis ribojama iki 16 384 žetonų.
- Išvesties garsas niekada nenustoja būti transliuojamas — transliuojama ir tyla — todėl naudojimo atvejais, kuriems reikia segmentuoti pasisakymus, „garsas sustojo“ negali būti naudojamas kaip ėjimo pabaigos signalas.
- Jį galima pasiekti tik per naująjį
v1/live/sessionsgalinį tašką, o kai tikrinome, jis dar nebuvo prieinamas Azure.
Mūsų įspūdis iki šiol
Produkcijoje veikiantys telefoniniai agentai turi skambėti natūraliai ir nuosekliai laikytis scenarijų. GPT-Live-1 puikiai atlieka pirmąją užduotį, tačiau su antrąja turi rimtų problemų. Laikui bėgant atliksime daugiau bandymų ir toliau dalysimės savo išvadomis.