実験(A/Bテスト)
実際の通話で2つのエージェント設定を並行して実行し、成功率で勝者を決定します。
A/Bテストでは、着信通話をエージェントのバリアントに分割し、各通話を通常どおり評価して、バリアントごとの成功率を比較することで、「新しいプロンプトは本当により良いのか」を感覚ではなくデータで判断できます。
画面は2つあります。
- エージェントごと — テストは各エージェントのビルダーのA/Bタブ(
/dashboard/agents/<id>?tab=variants)で設定・調整します。ここでバリアントを作成し、テストを有効にします。 - エージェント横断の概要 — Experimentsページ(
/dashboard/experiments、Quality & Testing内)では、すべてのエージェントのテストを1つのテーブルに集約します。
テストを設定する
ExperimentsページでA/Bテストを設定をクリックし、エージェントを選択します。対象エージェントのA/Bタブが開き、そこでバリアント構成を作成し(1つをコントロールとして指定)、分割テストを有効にできます。ビルダー自体については、エージェントを構築するを参照してください。
概要を確認する
テストを設定した各エージェントについて、Experimentsテーブルには次が表示されます。
- ステータス — Active(分割テストが有効)またはPaused。
- バリアント — すべてのバリアントをチップで表示し、コントロールにはラベルが付きます。
- 先行中 — 現時点で成功率が最も高いバリアントと、その割合。バリアントに評価済み通話がない場合は、データがまだ不足していますと表示されます。数件の通話だけで勝者を決めないでください。
- 通話 — テストのバリアント全体における通話総数。
テストを設定していないエージェントは、その下にワンクリックで開始できる候補として表示されます。任意の行をクリックすると、そのエージェントのA/Bタブに移動し、テストを調整または終了できます。