ThunderPhone 2.0、提供開始。セルフサービスで、1分あたり2¢から。発表内容を見る

Analyze & improve

実験(A/Bテスト)

実際の通話で2つのエージェント設定を並行して実行し、成功率で勝者を決定します。

A/Bテストでは、着信通話をエージェントのバリアントに分割し、各通話を通常どおり評価して、バリアントごとの成功率を比較することで、「新しいプロンプトは本当により良いのか」を感覚ではなくデータで判断できます。

画面は2つあります。

  • エージェントごと — テストは各エージェントのビルダーのA/Bタブ(/dashboard/agents/<id>?tab=variants)で設定・調整します。ここでバリアントを作成し、テストを有効にします。
  • エージェント横断の概要Experimentsページ(/dashboard/experiments、Quality & Testing内)では、すべてのエージェントのテストを1つのテーブルに集約します。

テストを設定する

ExperimentsページでA/Bテストを設定をクリックし、エージェントを選択します。対象エージェントのA/Bタブが開き、そこでバリアント構成を作成し(1つをコントロールとして指定)、分割テストを有効にできます。ビルダー自体については、エージェントを構築するを参照してください。

概要を確認する

テストを設定した各エージェントについて、Experimentsテーブルには次が表示されます。

  • ステータス — Active(分割テストが有効)またはPaused。
  • バリアント — すべてのバリアントをチップで表示し、コントロールにはラベルが付きます。
  • 先行中 — 現時点で成功率が最も高いバリアントと、その割合。バリアントに評価済み通話がない場合は、データがまだ不足していますと表示されます。数件の通話だけで勝者を決めないでください。
  • 通話 — テストのバリアント全体における通話総数。

テストを設定していないエージェントは、その下にワンクリックで開始できる候補として表示されます。任意の行をクリックすると、そのエージェントのA/Bタブに移動し、テストを調整または終了できます。

次のステップ