Using the dashboard

検証セット：デプロイ前に実際の通話ターンを再生

実際のThunderPhone通話の場面を再利用可能な検証例に変換し、期待される動作を確認してエージェントの下書きに対して再生し、デプロイ前にリグレッションを検出します。

検証例では、実際の通話からエージェントの1ターンを固定します。固定されるのは、そのターンまでの会話、関連する発信者音声、エージェントが実際に行ったこと、そして行うべき内容の正解です。現在の下書きに対してセットを再生すると、別の通話を発信せずにリグレッションを検出できます。

組織全体の 検証セット ページ (/dashboard/validation) でデータセットを作成して確認します。個別の エージェントの 検証 タブでは、セットを実行して実行履歴を確認できます。

通話履歴から例を追加する#

1. 例を追加を選択

   例で動作を検証するエージェントを選択します。ワークスペースには、そのエージェントの直近の非シミュレーション通話が最大25件表示されます。

2. 通話とエージェントターンを選択

   文字起こしを読み、保持したいエージェントターンにカーソルを合わせて、チェックリスト操作を選択します。そのターンまでの会話と発信者音声の区間が検証データセットにコピーされます。

3. 期待内容を確認

   ThunderPhone が正しい動作の説明を下書きします。具体的かつテスト可能になるよう編集し、必要に応じて許容される応答例と想定ツール呼び出しも編集します。

4. 保存または有効化

   下書きを保存すると、例は 要確認 のままになります。 保存して有効化すると、以降の検証実行に含まれます。

同じターンを2回昇格させた場合、新しいコピーを2つ作成するのではなく、既存の例を再利用します。

例の種類とステータス#

種類は、例が存在する理由を示します。

ステータスはライフサイクルを制御します。

データセットを参照して改善する#

組織のデータセットを エージェント、ステータス、または 種類 でフィルタリングします。例を選択すると、次の内容が表示されます。

• 固定された会話コンテキストと再生可能な発信者音声の区間。
• 元の通話と元の応答。
• 正解の期待内容、許容される音声応答、ツール呼び出し。
• 元の動作と期待される動作と並べて表示される最新の再生結果。
• 利用可能な場合は、最新の判定と判定者による説明。

期待内容または許容される応答を変更するには、正解を編集 を選択します。 完全な実行を開始せずにその例だけをテストするには、下書きに対して再生 を選択します。再生では、デプロイ済みの設定ではなく、エージェントの現在の下書きが使用されます。

検証セットを実行する#

エージェントの 検証 タブから、すべての有効な例に対する実行を開始します。各例には、次のいずれかの判定が付与されます。

• 合格 — 応答が期待内容と発信者音声を満たしています。
• 警告 — 応答は使用可能ですが、1つのチェックで不確実性が検出されました。
• 失敗 — 音声と矛盾しているか、必要な動作が欠けています。
• スキップ — 必要な発信者音声を読み込めなかったため、合格率の分母から除外されます。
• エラー — 再生または評価を完了できませんでした。

実行サマリーには、合格、警告、失敗、スキップの件数、合格率、推定コスト、および前回完了した実行以降に合格から失敗へ変化したリグレッションが表示されます。エージェントごとに同時に有効にできる検証実行は1件のみです。

検証結果に基づくデプロイ#

エージェントに検証例がある場合、デプロイダイアログには最新の完了済み実行が現在の下書きと一致するかどうかが表示されます。以下を実行できます。

• 表示された合格率とリグレッション数でデプロイする。
• 一致する実行がない場合は、先に検証を実行する。
• 結果を確認済みの場合は、意図的にそのままデプロイする。

検証はエビデンスおよびデプロイチェックであり、本番トラフィックの自動分割ではありません。ライブ比較には、 実験（A/Bテスト）を使用してください。

API 自動化#

Validation Sets APIでは、ターンの昇格、例の管理、固定された音声のストリーミング、個別のリプレイ、バッチ実行、実行結果、デプロイ時のステータス、組織の概要を扱えます。