实验(A/B 测试)
在真实通话中并行运行两种智能体配置,并根据成功率选出胜者。
A/B 测试通过数据而非直觉来回答“新提示词是否真的更好”:来电会在智能体变体之间分配,每通电话照常评分,您可以比较各变体的成功率。
有两个界面:
- 按智能体 —— 在每个智能体构建器的 A/B 选项卡(
/dashboard/agents/<id>?tab=variants)中配置和优化测试。在这里创建变体并开启测试。 - 跨智能体概览 —— Experiments 页面(
/dashboard/experiments,位于 Quality & Testing 下)会将每个智能体的测试汇总到一张表中。
设置测试
在 Experiments 页面中,点击设置 A/B 测试并选择一个智能体——您将进入该智能体的 A/B 选项卡,可在此创建变体配置(其中一个标记为对照组)并启用分流测试。有关构建器本身,请参阅构建智能体。
查看概览
对于每个已设置测试的智能体,Experiments 表会显示:
- 状态 —— Active(已开启分流测试)或 Paused。
- 变体 —— 每个变体均显示为标签,对照组会带有标识。
- 领先者 —— 目前成功率最高的变体及其百分比。在变体产生已评分通话前,此处会显示数据尚不足——不要仅凭几通电话就判定胜者。
- 通话 —— 测试中所有变体的通话总数。
未设置测试的智能体会列在下方,您只需点击一次即可开始测试。点击任意行即可跳转到该智能体的 A/B 选项卡,以优化或结束测试。