Maoni yetu ya kwanza kuhusu API ya GPT-Live-1 kwa ejenti za sauti
OpenAI ilitoa GPT-Live-1, modeli yake mpya ya sauti ya full-duplex, kwenye API siku mbili zilizopita. Tunaunda na kuendesha ejenti za simu za AI kwenye mazingira halisi ya uzalishaji, kwa hivyo tuliweka kwenye nambari halisi ya simu na kuipigia. Mara nyingi.
Tuliijaribu kwa script ya takriban token 13,000 ya kufuzu lead zenye nia ya awali kutoka kwa mmoja wa wateja wetu wa bima, yenye mistari ya lazima inayopaswa kusemwa neno kwa neno, kanuni kali za kurudia taarifa, na maswali ya ufuatiliaji yenye matawi. Katika siku moja ndefu, tulifanya simu halisi kumi na mbili, takriban mahojiano 25 ya kuigwa, na kundi la majaribio yasiyo na muundo.
Haya ni maoni yetu ya kwanza, pamoja na nakala za mazungumzo na sauti. Maelezo ya kina zaidi yanakuja hivi karibuni.
Nakala za mazungumzo zinatokana na simu zetu za majaribio, kama zilivyonakiliwa na GPT-Live. Tumebadilisha majina na maneno ya utambulisho, tumepunguza baadhi ya mazungumzo, na tumeunganisha vipande vilivyogawanyika. Nyakati, kwa sekunde tangu mwanzo wa simu, zinatokana na rekodi za awali.
Uasilia wake ni wa kipekee
GPT-Live-1 ni mzungumzaji wa mazungumzo mwenye sauti ya kiasili zaidi ambaye tumewahi kuweka kwenye laini ya simu. Ni hatua kubwa mbele.
Husikiliza na kuzungumza kwenye mtiririko mmoja endelevu wa sauti, bila hatua tofauti za unukuzi na usanisi. Sehemu kubwa ya mekaniki za mazungumzo hufanya kazi tu. Wapigaji walisikia sauti yake ya kwanza takriban sekunde 1.3 baada ya kuacha kuzungumza (mediani), au karibu sekunde 0.7 bila sehemu ya simu. Hatukuongeza utambuzi wa shughuli ya sauti au mantiki ya kubadilishana zamu. Hushughulikia kukatizwa kwa ustadi, hutoa ishara za asili za kusikiliza ("Mm-hmm"), na huzungumza kwa kasi ya uchangamfu inayofanana na ya binadamu.
Ikipewa malengo badala ya mistari ya kusoma, hurekebisha maswali kulingana na mazungumzo na hupokea masahihisho kwa urahisi:
Haikupoteza utulivu wake hata kidogo katika masahihisho, kukatizwa, au wapigaji waliobadilisha majibu yao katikati ya simu. Kama uasilia ungekuwa kazi yote, chapisho hili lingeishia hapa. Kwa bahati mbaya, kuna zaidi ya hilo.
Haifuati maelekezo kwa uhakika
GPT-Live-1 haifuati maelekezo kwa uhakika katika tabia muhimu kwa simu yenye script.
Zaidi ya mara moja, ilijibu “ndiyo” iliyo wazi kana kwamba jibu lilikuwa “hapana,” ikirudia kuuliza swali au kuendelea kana kwamba mpigaji alikuwa amekataa.
Hitilafu iliyojirudia zaidi ilikuwa kuchukua maelekezo kwa maana ya moja kwa moja kupita kiasi. Prompt yetu ilisema: mpigaji akisema hali ya makazi iliyopo kwenye faili si sahihi, uliza kama anamiliki, anapangisha, au anaishi na wazazi wake. Mpigaji alisema “hapana, ninamiliki sasa,” jambo ambalo tayari linajibu swali hilo. Hata hivyo modeli ilisoma orodha yote:
Baadhi ya hali za ajabu za awali zilikuwa kosa la prompt yetu, lakini hali hiyo ya kuchukua kila kitu moja kwa moja iliendelea katika kila toleo la prompt tulilojaribu. Jibu lolote ambalo hatukulieleza wazi lilishughulikiwa kimakanika badala ya kwa busara.
Pia wakati mwingine hufikiri kwa sauti inapokuwa chini ya shinikizo:
Namba na mchanganyiko wa herufi na namba ni hatari
Tahajia, anwani, tarehe za kuzaliwa na namba za vitambulisho lazima ziwe sahihi kabisa. Hapa ndipo usemi wa GPT-Live-1 una matatizo mengi zaidi.
Tuliisikia ikiacha na kubadilisha herufi katika mifuatano ya herufi na namba. Hapa inasoma namba ya dai iliyobuniwa; klipu hazijabadilishwa isipokuwa ukimya umekatwa. Kwa Kiingereza, nakala yake ilikuwa sahihi lakini sauti iliongeza "Y":
Kwa Kirusi ilikuwa mbaya zaidi: "Q" iligeuka kuwa "X" katika sauti na nakala yake.
Tarehe zilisababisha tatizo hilohilo. Mpigaji simu alitoa tarehe ya kuzaliwa kama tarakimu, ambayo modeli baadaye ilisoma kama namba:
Pia wakati mwingine hutamka mstari unaopaswa kusemwa na mpigaji simu:
Lafudhi katika lugha nyingine
Tunajaribu modeli mpya za sauti katika lugha 47 zinazotumika kwenye bidhaa yetu. Kirusi cha GPT-Live-1 kilikuwa fasaha lakini kilikuwa na lafudhi nzito ya Kimarekani (ilhali sauti za TTS tunazotumia kwenye uzalishaji kwa kawaida husikika kama za wazungumzaji asili):
Pia tulijaribu Luganda. Katika simu ya kwanza, ilijibu kwa Kiswahili badala yake. Katika ya pili, ilizungumza Luganda, kwa njia ya asili zaidi kuliko tulivyotarajia kutoka kwa modeli ya jumla, lakini tena kwa lafudhi nzito ya Kimarekani. Hatujajaribu kila lugha, lakini tunatarajia muundo huu wa lafudhi huenda unajitokeza kwa ujumla. Hilo si muhimu kwa ejenti inayotumia Kiingereza pekee, lakini ni tahadhari kubwa kwa matumizi katika lugha nyingine.
Vikwazo vichache vya API vinavyofaa kujua
Kulingana na tulichogundua wiki hii, vikwazo vichache vya API ni muhimu kwa ejenti halisi:
- Maelekezo hayabadiliki baada ya kipindi kuanza, na yana kikomo cha tokeni 16,384.
- Sauti ya matokeo haikomi kutiririshwa — hata ukimya hutiririshwa — hivyo "sauti imesimama" haiwezi kutumika kama ishara ya mwisho wa zamu kwa matumizi yanayohitaji kutenganisha zamu.
- Inapatikana kupitia endpoint mpya ya
v1/live/sessionspekee, na ilikuwa bado haijapatikana kwenye Azure tulipoangalia.
Mtazamo wetu hadi sasa
Ejenti za simu za uzalishaji lazima zisikike kwa asili na zifuate skripti kwa uthabiti. GPT-Live-1 ni bora sana katika jambo la kwanza, lakini ina matatizo makubwa katika la pili. Tutaendelea kufanya majaribio zaidi kadri muda unavyokwenda na kuendelea kuripoti tulichogundua.