Kesan pertama kami terhadap API GPT-Live-1 untuk agen suara

OpenAI merilis GPT-Live-1, model suara full-duplex barunya, ke API dua hari lalu. Kami membangun dan menjalankan agen telepon AI dalam produksi, jadi kami memasangnya pada nomor telepon sungguhan lalu meneleponnya. Berkali-kali.

Kami mengujinya dengan skrip kualifikasi prospek hangat sekitar 13.000 token dari salah satu pelanggan asuransi kami, dengan kalimat wajib yang harus dibacakan secara persis, aturan pembacaan ulang yang ketat, dan tindak lanjut bercabang. Dalam satu hari yang panjang, kami menjalankan selusin panggilan telepon sungguhan, sekitar 25 wawancara simulasi, dan sekumpulan pengujian tak terstruktur.

Inilah kesan pertama kami, beserta transkrip dan audio. Ulasan yang lebih mendalam akan segera menyusul.

Transkrip berasal dari panggilan uji kami, sebagaimana ditranskripsikan oleh GPT-Live. Kami telah mengganti nama dan frasa yang dapat mengidentifikasi, memangkas percakapan, serta menggabungkan fragmen yang terpisah. Stempel waktu, dalam detik sejak panggilan dimulai, berasal dari rekaman asli.

Kealamiannya luar biasa

GPT-Live-1 adalah lawan bicara dengan suara paling alami yang pernah kami tempatkan di saluran telepon. Ini benar-benar kemajuan besar.

Model ini mendengarkan dan berbicara dalam satu aliran audio berkelanjutan, tanpa tahap transkripsi dan sintesis yang terpisah. Sebagian besar mekanisme percakapannya langsung berfungsi. Penelepon mendengar audio pertamanya sekitar 1,3 detik setelah berhenti berbicara (median), atau sekitar 0,7 detik tanpa jalur telepon. Kami tidak menambahkan deteksi aktivitas suara atau logika pergantian giliran. Model ini menangani interupsi dengan baik, menghasilkan respons singkat yang alami ("Mm-hmm"), dan berbicara dengan tempo cepat seperti manusia.

Jika diberi tujuan alih-alih kalimat untuk dibacakan, model ini menyesuaikan pertanyaan dengan percakapan dan menerima koreksi dengan tenang:

Model ini tidak pernah kehilangan ketenangan saat menghadapi koreksi, interupsi, atau penelepon yang mengubah jawaban di tengah panggilan. Jika kealamian adalah keseluruhan pekerjaannya, tulisan ini akan berakhir di sini. Sayangnya, ada lebih dari itu.

Model ini tidak mengikuti instruksi secara andal

GPT-Live-1 tidak mengikuti instruksi secara andal dalam perilaku yang penting untuk panggilan telepon berbasis skrip.

Lebih dari sekali, model ini merespons "ya" yang jelas seolah-olah jawabannya adalah "tidak", lalu mengajukan pertanyaan yang sama lagi atau melanjutkan seakan penelepon menolak.

Kegagalan yang paling konsisten adalah menafsirkan instruksi terlalu harfiah. Prompt kami menyatakan: jika penelepon mengatakan status tempat tinggal dalam data kami salah, tanyakan apakah mereka memiliki rumah, menyewa, atau tinggal bersama orang tua. Seorang penelepon mengatakan "tidak, sekarang saya memilikinya," yang sebenarnya sudah menjawab pertanyaan tersebut. Model tetap membacakan pilihannya:

Sebagian keanehan awal memang disebabkan oleh Prompt kami, tetapi sikap harfiahnya tetap muncul di setiap variasi Prompt yang kami coba. Jawaban apa pun yang belum kami jelaskan secara eksplisit ditangani secara mekanis, bukan dengan masuk akal.

Model ini juga terkadang berpikir keras saat berada di bawah tekanan:

Angka dan alfanumerik berisiko

Ejaan, alamat, tanggal lahir, dan nomor identitas harus tepat. Di sinilah ucapan GPT-Live-1 paling sering bermasalah.

Kami mendengarnya menghilangkan dan mengganti karakter dalam rangkaian alfanumerik. Di sini, model membacakan nomor klaim fiktif; klipnya tidak diubah selain pemangkasan hening. Dalam bahasa Inggris, transkripnya benar tetapi audionya menambahkan "Y":

Dalam bahasa Rusia, hasilnya lebih buruk: "Q" berubah menjadi "X" baik dalam audio maupun transkripnya.

Tanggal menimbulkan masalah yang sama. Seorang penelepon menyebutkan tanggal lahir sebagai digit, yang kemudian dibacakan ulang oleh model sebagai angka:

Model juga sesekali mengucapkan baris yang seharusnya menjadi milik penelepon:

Aksen dalam bahasa lain

Kami menguji model suara baru di 47 bahasa yang didukung produk kami. Bahasa Rusia GPT-Live-1 lancar, tetapi memiliki aksen Amerika yang kental (sedangkan suara TTS yang kami jalankan di produksi biasanya terdengar seperti penutur asli):

Kami juga mencoba Luganda. Pada panggilan pertama, model malah menjawab dalam bahasa Swahili. Pada panggilan kedua, model berbicara Luganda, lebih alami daripada yang kami harapkan dari model umum, tetapi lagi-lagi dengan aksen Amerika yang kental. Kami belum menguji setiap bahasa, tetapi kami menduga pola aksen ini kemungkinan berlaku secara umum. Hal ini tidak menjadi masalah untuk agen yang hanya menggunakan bahasa Inggris, tetapi merupakan catatan penting untuk kasus penggunaan dalam bahasa lain.

Beberapa batasan API yang perlu diketahui

Berdasarkan temuan kami minggu ini, beberapa batasan API penting untuk agen sungguhan:

• Instruksi tidak dapat diubah setelah sesi dimulai, dan dibatasi hingga 16.384 token.
• Audio output tidak pernah berhenti di-streaming — hening juga di-streaming — sehingga "audio berhenti" tidak dapat digunakan sebagai sinyal akhir giliran untuk kasus penggunaan yang perlu memisahkan giliran.
• Model ini hanya dapat diakses melalui endpoint v1/live/sessions yang baru, dan belum tersedia di Azure saat kami memeriksanya.

Kesan kami sejauh ini

Agen telepon produksi harus terdengar alami dan mengikuti skrip secara konsisten. GPT-Live-1 luar biasa dalam hal yang pertama, tetapi memiliki beberapa masalah serius dalam hal yang kedua. Kami akan menjalankan lebih banyak pengujian seiring waktu dan terus melaporkan temuan kami.