端到端测试智能体（API）

通过 ThunderPhone API 运行一次性模拟、并行场景批次和发布门禁测试套件，以便在客户听到问题之前发现智能体回归。

迭代 AI 智能体意味着迭代其提示词、工具以及处理边缘情况的方式。 模拟 API 会使用您提供的场景提示词，对智能体发起真实通话。以智能体为目标会创建智能体间运行；以电话号码为目标会创建 SIP 回环运行。每次运行都会生成包含转录、评分和计费信息的真实通话记录，让您准确了解智能体的行为及其成本。

适用于：

每次编辑提示词后的部署前冒烟测试
接入 CI 的回归测试套件（挂接 test-call.completed webhook → 如果分数下降则使构建失败）
并发限制压力测试

单次运行：单个场景

curl -X POST https://api.thunderphone.com/v1/simulations \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "scenario_prompt": "You are a polite caller asking about refund policy for order 12345.",
    "consent_to_charge": true
  }'

字段：

字段	类型	必填	说明
`target_type`	字符串	是	`agent` 或 `phone_number`
`target_id`	整数	是	智能体 ID（或电话号码 ID）
`direction`	字符串	否	`outbound`（默认；测试呼叫方发起）或 `inbound`（测试呼叫方接听）
`scenario_prompt`	字符串	否	决定测试机器人说什么
`language` / `primary_language`	字符串	否	测试呼叫方使用的语言；不支持的代码会被拒绝
`simulator_product`	字符串	否	`testing`（默认）或 `spark`，用于更接近真人的模拟呼叫方，例如暖转接咨询测试
`consent_to_charge`	布尔值	是	必须为 `true`。费用估算会对所选智能体和模拟呼叫方计费，并计入任何电话线路
`target_number`	字符串	否	远端的 E.164 覆盖值；否则使用平台测试号码

mode 为只读字段，并根据 target_type 推导：agent 会生成 mode="bot"，而 phone_number 会生成 mode="sip"。

响应为状态 status="queued" 的模拟运行对象。轮询直至 status 变为 completed 或 failed；设置 call_id 后，通过 GET /v1/calls/{call_id}/transcript加载转录。

批次：并行场景

并发运行 N 个场景——适用于并行覆盖所有已知边缘情况的回归测试套件：

curl -X POST https://api.thunderphone.com/v1/simulations/batches \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "run_count":       5,
    "stagger_seconds": 2,
    "scenario_prompts": [
      "Ask about refund policy.",
      "Ask for hours of operation.",
      "Complain about a delayed shipment.",
      "Ask to speak with a human.",
      "Ask an unrelated trivia question."
    ],
    "consent_to_charge": true
  }'

响应包含子运行 ID 的 run_ids 列表。获取批次状态：

curl https://api.thunderphone.com/v1/simulations/batches/{batch_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY"

run_count 上限为 20；stagger_seconds 会错开启动时间，以避免对智能体造成过高压力（0–60 秒）。

将其接入 CI

在模拟页面（/dashboard/simulations）创建发布门禁套件——选择智能体，手动添加场景，或点击 使用 AI 生成场景，根据智能体的提示词起草场景（可选进行边界情况检查），然后将其归入一个套件。套件会固定其场景和智能体，以及最低通过率和可选的严重失败数为零规则。通过的运行将成为已接受的基线；后续从通过→失败的变化将作为回归返回。

在 CI 中使用组织 API 密钥。此脚本会触发套件，轮询直至评分和比较完成，并且仅当结论为 pass 时才以零状态退出：

#!/usr/bin/env bash
set -euo pipefail
 
: "${THUNDERPHONE_API_KEY:?Set THUNDERPHONE_API_KEY}"
: "${THUNDERPHONE_ORG_ID:?Set THUNDERPHONE_ORG_ID}"
: "${THUNDERPHONE_SUITE_ID:?Set THUNDERPHONE_SUITE_ID}"
 
base="https://api.thunderphone.com/v1/orgs/${THUNDERPHONE_ORG_ID}/suites/${THUNDERPHONE_SUITE_ID}"
auth="Authorization: Bearer ${THUNDERPHONE_API_KEY}"
 
run_id="$(curl --fail --silent --show-error -X POST "${base}/run" \
  -H "$auth" -H "Content-Type: application/json" -d '{}' | jq -r '.id')"
 
deadline=$((SECONDS + 1800))
while (( SECONDS < deadline )); do
  result="$(curl --fail --silent --show-error \
    "${base}/runs/${run_id}" -H "$auth")"
  status="$(jq -r '.status' <<<"$result")"
  if [[ "$status" == "completed" ]]; then
    jq . <<<"$result"
    [[ "$(jq -r '.verdict' <<<"$result")" == "pass" ]]
    exit
  fi
  sleep 10
done
 
echo "ThunderPhone suite timed out" >&2
exit 1

POST /v1/orgs/{org_id}/suites/{suite_id}/run 返回包含运行 ID 的 202。GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id} 返回 status、verdict、pass_rate、critical_failure_count 以及基线 regressions 列表。两个端点都会将 URL 中的组织与 API 密钥所属的组织绑定。

AI 评分

自动为每次测试运行评分，以便长期跟踪质量。

问题报告

标记特定测试以供人工审核。

test-call.completed Webhook

将结果流式传输至您的 CI / Slack / PagerDuty。

端到端测试智能体（API）

单次运行：单个场景

批次：并行场景

将其接入 CI

模式

按提示词维护的回归语料库

每次发布的冒烟测试

延迟基准测试

后续步骤