音声エージェント向けGPT-Live-1 APIの第一印象

OpenAIは2日前、新しいフルデュプレックス音声モデルGPT-Live-1をAPIで公開しました。私たちは本番環境で音声エージェントを構築・運用しているため、実際の電話番号につなぎ、何度も電話をかけてみました。

保険会社のお客様の1社で使われている、約13,000トークンの見込み顧客選別スクリプトでテストしました。逐語的に読むことが義務付けられた文言、厳密な復唱ルール、分岐する追加質問が含まれています。1日を通して、実際の電話を12件、シミュレーション面談を約25件、さらに非構造化テストをまとめて実施しました。

以下は、文字起こしと音声を含む第一印象です。より詳しいレポートもまもなく公開します。

文字起こしは、テスト通話をGPT-Liveが文字起こししたものです。氏名や特定につながる表現は変更し、やり取りを一部省略し、分割された断片は統合しています。タイムスタンプは通話開始からの秒数で、元の記録に基づいています。

自然さは卓越している

GPT-Live-1は、私たちが電話回線で試した中で最も自然に会話するモデルです。これは明確な前進です。

独立した文字起こしや音声合成の段階を挟まず、1本の連続した音声ストリームで聞き取りと発話を行います。会話の仕組みの大半は、そのまま機能します。発信者が話し終えてから最初の音声を聞くまでの時間は中央値で約1.3秒、電話回線の区間を除けば約0.7秒でした。音声活動検出やターンテイキングのロジックは追加していません。割り込みにも自然に対応し、「Mm-hmm」のような自然な相づちを返し、人間らしいテンポで話します。

読むべき台詞ではなく目標を与えると、会話に合わせて質問を調整し、訂正にも柔軟に対応します。

訂正、割り込み、通話中に回答を変える発信者がいても、取り乱すことはありませんでした。自然さだけが仕事のすべてなら、この記事はここで終わります。残念ながら、そうではありません。

指示に確実に従うわけではない

GPT-Live-1は、スクリプトに沿った電話で重要となる振る舞いについて、指示に確実に従うわけではありません。

明確な「はい」に対して「いいえ」と答えられたかのように反応し、質問を聞き直したり、発信者が断ったものとして先へ進んだりすることが複数回ありました。

最も一貫して見られた失敗は、指示を文字どおりに受け取りすぎることでした。プロンプトには、登録されている住居状況が間違っていると発信者が言った場合、持ち家か、賃貸か、親と同居かを尋ねるよう記載していました。発信者は「いいえ、今は持ち家です」と答えましたが、これはすでにその質問への回答です。それでもモデルは選択肢を読み上げました。

初期の奇妙な挙動の一部はプロンプトに原因がありましたが、この文字どおりの解釈は試したすべてのプロンプトのバリエーションで続きました。明示していない回答は、常識的ではなく機械的に処理されました。

また、負荷がかかると、ときどき考えを声に出してしまいます。

数字と英数字にはリスクがある

スペル、住所、生年月日、ID番号は正確でなければなりません。GPT-Live-1の音声が最も問題を起こすのはこの領域です。

英数字の文字列で文字を省略したり置き換えたりするケースを確認しました。ここでは架空の保険金請求番号を読み上げています。クリップには無音部分のトリミング以外の編集を加えていません。英語では文字起こしは正しかったものの、音声には「Y」が追加されました。

ロシア語ではさらに悪く、「Q」が音声と文字起こしの両方で「X」になりました。

日付でも同じ問題が起きました。発信者は生年月日を数字列として伝えましたが、モデルは後でそれを数として読み上げました。

また、発信者のセリフを話してしまうこともありました。

他言語のアクセント

当社製品が対応する47言語で、新しい音声モデルをテストしています。GPT-Live-1のロシア語は流暢でしたが、強いアメリカ英語訛りがありました。一方、本番環境で使用しているTTS音声は通常、母語話者のように聞こえます。

ルガンダ語も試しました。最初の通話では、代わりにスワヒリ語で応答しました。2回目ではルガンダ語を話し、汎用モデルとしては予想以上に自然でしたが、やはり強いアメリカ英語訛りがありました。すべての言語をテストしたわけではありませんが、このアクセントの傾向はおそらく他の言語にも当てはまると考えています。英語専用のエージェントでは問題になりませんが、他言語でのユースケースではかなり重要な注意点です。

知っておくべきAPIの制約

今週の検証でわかったように、実運用のエージェントではいくつかのAPI制約が重要です。

• セッション開始後は指示を変更できません。また、上限は16,384トークンです。
• 出力音声のストリーミングは停止しません。無音もストリーミングされるため、ターンを分割する必要があるユースケースでは「音声が停止した」をターン終了シグナルとして使えません。
• 新しい v1/live/sessions エンドポイント経由でのみ利用でき、確認時点ではAzureではまだ利用できませんでした。

現時点での印象

本番運用の電話エージェントには、自然に聞こえ、一貫してスクリプトに従うことが求められます。GPT-Live-1は前者では驚くほど優れていますが、後者には深刻な問題がいくつかあります。今後もテストを重ね、わかったことを継続して報告していきます。