ThunderPhone 2.0 正式上线。全程自助,2 美分/分钟起。查看发布公告

Analyze & improve

实验(A/B 测试)

在真实通话中并行运行两种智能体配置,并根据成功率选出胜者。

A/B 测试通过数据而非直觉来回答“新提示词是否真的更好”:来电会在智能体变体之间分配,每通电话照常评分,您可以比较各变体的成功率。

有两个界面:

  • 按智能体 —— 在每个智能体构建器的 A/B 选项卡(/dashboard/agents/<id>?tab=variants)中配置和优化测试。在这里创建变体并开启测试。
  • 跨智能体概览 —— Experiments 页面(/dashboard/experiments,位于 Quality & Testing 下)会将每个智能体的测试汇总到一张表中。

设置测试

在 Experiments 页面中,点击设置 A/B 测试并选择一个智能体——您将进入该智能体的 A/B 选项卡,可在此创建变体配置(其中一个标记为对照组)并启用分流测试。有关构建器本身,请参阅构建智能体

查看概览

对于每个已设置测试的智能体,Experiments 表会显示:

  • 状态 —— Active(已开启分流测试)或 Paused。
  • 变体 —— 每个变体均显示为标签,对照组会带有标识。
  • 领先者 —— 目前成功率最高的变体及其百分比。在变体产生已评分通话前,此处会显示数据尚不足——不要仅凭几通电话就判定胜者。
  • 通话 —— 测试中所有变体的通话总数。

未设置测试的智能体会列在下方,您只需点击一次即可开始测试。点击任意行即可跳转到该智能体的 A/B 选项卡,以优化或结束测试。

后续步骤