Sesli AI ajanları için GPT-Live-1 API'sine dair ilk izlenimlerimiz

OpenAI, yeni tam çift yönlü ses modelini GPT-Live-1'i iki gün önce API üzerinden kullanıma sundu. Biz üretim ortamında yapay zeka telefon ajanları geliştiriyor ve işletiyoruz; bu yüzden onu gerçek bir telefon numarasına bağlayıp aradık. Hem de çok kez.

Sigorta müşterilerimizden birine ait, zorunlu olarak kelimesi kelimesine söylenmesi gereken satırlar, sıkı tekrar okuma kuralları ve dallanan takip soruları içeren yaklaşık 13.000 tokenlık sıcak potansiyel müşteri değerlendirme senaryosuyla test ettik. Uzun bir gün boyunca bir düzine gerçek telefon görüşmesi, yaklaşık 25 simüle edilmiş görüşme ve yapılandırılmamış testlerden oluşan bir grup gerçekleştirdik.

İşte transkriptler ve ses kayıtlarıyla ilk izlenimlerimiz. Daha kapsamlı bir değerlendirme çok yakında gelecek.

Transkriptler, GPT-Live tarafından yazıya dökülen test görüşmelerimizden alınmıştır. İsimleri ve kimliği belli edebilecek ifadeleri değiştirdik, bazı konuşma bölümlerini kısalttık ve bölünmüş parçaları birleştirdik. Görüşmenin başlangıcından itibaren saniye cinsinden verilen zaman damgaları orijinal kayıtlardandır.

Doğallığı olağanüstü

GPT-Live-1, bir telefon hattına bağladığımız en doğal konuşan sohbet modeli. Bu, gerçekten önemli bir ilerleme.

Ayrı yazıya dökme ve sentez aşamaları olmadan, tek ve kesintisiz bir ses akışı üzerinden dinliyor ve konuşuyor. Konuşmanın mekanik ayrıntılarının çoğu doğrudan çalışıyor. Arayanlar, konuşmayı bıraktıktan sonra ilk sesi ortalama ortanca 1,3 saniye içinde duydu; telefon bağlantısı olmadan bu süre yaklaşık 0,7 saniyeydi. Herhangi bir ses etkinliği algılama veya sıra alma mantığı eklemedik. Söz kesmeleri zarif biçimde ele alıyor, doğal onay sesleri ("Mm-hmm") üretiyor ve hızlı, insan benzeri bir tempoda konuşuyor.

Okuması gereken satırlar yerine hedefler verildiğinde, soruları konuşmanın akışına uyduruyor ve düzeltmeleri rahatlıkla kabul ediyor:

Düzeltmeler, söz kesmeler veya arayanların görüşme ortasında yanıtlarını değiştirmesi karşısında asla soğukkanlılığını kaybetmedi. Eğer işin tamamı doğallık olsaydı, bu yazı burada biterdi. Ne yazık ki konu bundan daha fazlasını içeriyor.

Talimatları güvenilir biçimde takip etmiyor

GPT-Live-1, senaryolu bir telefon görüşmesinde önem taşıyan davranışlara ilişkin talimatları güvenilir biçimde takip etmiyor.

Birden fazla kez, açık bir "evet" yanıtına sanki "hayır" denmiş gibi karşılık verdi; soruyu yeniden sordu ya da arayan reddetmiş gibi ilerledi.

En tutarlı başarısızlık, talimatları gereğinden fazla kelimesi kelimesine uygulamasıydı. İstemimiz şöyle diyordu: arayan, kayıtlardaki konut durumunun yanlış olduğunu söylerse ev sahibi olup olmadığını, kirada mı oturduğunu yoksa ailesiyle mi yaşadığını sorun. Bir arayan, "hayır, artık ev benim" dedi; bu ifade zaten soruyu yanıtlıyor. Buna rağmen model seçenekleri tek tek okudu:

Başlardaki bazı tuhaflıklar istemimizden kaynaklanıyordu, ancak denediğimiz her istem varyasyonunda bu aşırı literal yaklaşım devam etti. Açıkça belirtmediğimiz her yanıt, mantıklı biçimde değil mekanik olarak ele alındı.

Bazen baskı altındayken kendi kendine düşünüyor:

Sayılar ve alfanümerikler riskli

Yazımlar, adresler, doğum tarihleri ve kimlik numaraları kesin olmalıdır. GPT-Live-1'in konuşması en çok bu noktada sorun yaşıyor.

Alfanümerik dizelerde karakterleri atladığını ve değiştirdiğini duyduk. Burada uydurma bir hasar talep numarasını okuyor; sessizliğin kırpılması dışında klipler değiştirilmedi. İngilizcede transkripti doğruydu ancak sese bir "Y" ekledi:

Rusçada daha kötüydü: "Q", hem seste hem de transkriptinde "X" oldu.

Tarihler de aynı soruna yol açtı. Bir arayan kişi doğum tarihini rakamlarla verdi; model bunu daha sonra bir sayı olarak tekrar okudu:

Ayrıca zaman zaman arayana ait bir satırı da söylüyor:

Diğer dillerde aksanlar

Yeni ses modellerini ürünümüzün desteklediği 47 dilin tamamında test ediyoruz. GPT-Live-1'in Rusçası akıcıydı ancak belirgin bir Amerikan aksanı vardı (buna karşılık üretimde kullandığımız TTS sesleri genellikle ana dili konuşan kişiler gibi duyuluyor):

Luganda'yı da denedik. İlk aramada bunun yerine Svahili dilinde yanıt verdi. İkincisinde Luganda konuştu; genel amaçlı bir modelden beklediğimizden daha doğal konuşuyordu, ancak yine belirgin bir Amerikan aksanı vardı. Her dili test etmedik, ancak aksan örüntüsünün muhtemelen genellenebileceğini düşünüyoruz. Bu, yalnızca İngilizce konuşan bir yapay zeka ajanı için önemli değil; ancak diğer dillerdeki kullanım senaryoları için oldukça önemli bir çekince.

Bilmeniz gereken birkaç API kısıtlaması

Bu hafta bulduklarımıza göre, gerçek bir yapay zeka ajanı için birkaç API kısıtlaması önem taşıyor:

• Talimatlar oturum başladıktan sonra değiştirilemez ve 16.384 token ile sınırlıdır.
• Çıktı sesi akışı asla durmaz — sessizlik de akış olarak gönderilir — bu nedenle "ses durdu" sinyali, konuşma turlarını bölümlere ayırması gereken kullanım senaryolarında tur sonu sinyali olarak kullanılamaz.
• Yalnızca yeni v1/live/sessions uç noktası üzerinden erişilebilir ve kontrol ettiğimizde Azure'da henüz kullanıma sunulmamıştı.

Şu ana kadarki izlenimimiz

Üretimde kullanılan telefon ajanlarının doğal duyulması ve senaryoları tutarlı biçimde takip etmesi gerekir. GPT-Live-1 ilkinde harika, ancak ikincisinde bazı ciddi sorunları var. Zamanla daha fazla test yapacak ve bulgularımızı paylaşmayı sürdüreceğiz.