---
title: "端到端测试智能体（API）"
description: "通过 ThunderPhone API 运行一次性模拟、并行场景批次和发布门禁测试套件，以便在客户察觉之前发现智能体回归问题。"
---

<Note>
  更倾向于使用控制台？相同功能位于 **模拟**
  （`/dashboard/simulations`）中，包括 AI 场景生成——请参阅
  [模拟通话](/zh/guides/simulate-a-call)。本页面介绍以编程方式使用该功能。
</Note>

迭代 AI 智能体意味着迭代其提示词、工具以及处理边缘情况的方式。
**模拟 API** 会使用您提供的场景提示词，对智能体发起真实通话。
以智能体为目标会创建智能体到智能体的运行；以电话号码为目标会创建
SIP 回环运行。每次运行都会生成包含转录、评分和计费信息的真实通话日志，
让您准确了解智能体的行为及其成本。

适用场景：

- 每次编辑提示词后的部署前冒烟测试
- 接入 CI 的回归测试套件（连接 `test-call.completed` Webhook
  → 如果评分下降则使构建失败）
- 并发限制压力测试

## 单次运行：单个场景

```bash
curl -X POST https://api.thunderphone.com/v1/simulations \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "scenario_prompt": "You are a polite caller asking about refund policy for order 12345.",
    "consent_to_charge": true
  }'
```

字段：

| 字段 | 类型 | 必填 | 说明 |
|-------|------|----------|-------------|
| `target_type` | 字符串 | 是 | `agent` 或 `phone_number` |
| `target_id` | 整数 | 是 | 智能体 ID（或电话号码 ID） |
| `direction` | 字符串 | 否 | `outbound`（默认；测试呼叫方发起呼叫）或 `inbound`（测试呼叫方接听呼叫） |
| `scenario_prompt` | 字符串 | 否 | 决定测试机器人说什么 |
| `language` / `primary_language` | 字符串 | 否 | 测试呼叫方使用的语言；不支持的代码将被拒绝 |
| `simulator_product` | 字符串 | 否 | `testing`（默认）或 `spark`，后者用于更接近真人的模拟呼叫方，例如暖转接咨询测试 |
| `consent_to_charge` | 布尔值 | **是** | 必须为 `true`。预估费用会按固定的每分钟费率，对所选智能体和模拟呼叫方双方计费，另加任何电话线路费用 |
| `target_number` | 字符串 | 否 | 远端一侧的 E.164 覆盖号码；否则使用平台测试号码 |

`mode` 为只读字段，并根据 `target_type` 派生：`agent` 会生成
`mode="bot"`，而 `phone_number` 会生成 `mode="sip"`。

响应为处于 `status="queued"` 状态的[模拟运行对象](/api-reference/test-calls#test-call-run-object)。
轮询直到 `status` 变为 `completed` 或 `failed`；设置 `call_id` 后，
可通过 [`GET /v1/calls/{call_id}/transcript`](/api-reference/calls#get-transcript)
加载转录内容。

## 批次：并行场景

并发运行 N 个场景——适用于并行覆盖所有已知边缘情况的回归测试套件：

```bash
curl -X POST https://api.thunderphone.com/v1/simulations/batches \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "run_count":       5,
    "stagger_seconds": 2,
    "scenario_prompts": [
      "Ask about refund policy.",
      "Ask for hours of operation.",
      "Complain about a delayed shipment.",
      "Ask to speak with a human.",
      "Ask an unrelated trivia question."
    ],
    "consent_to_charge": true
  }'
```

响应包含子运行 ID 的 `run_ids` 列表。获取批次状态：

```bash
curl https://api.thunderphone.com/v1/simulations/batches/{batch_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY"
```

`run_count` 上限为 20；`stagger_seconds` 会错开启动时间，
以避免对智能体造成过高压力（0–60 秒）。

## 将其接入 CI

在 **模拟** 页面
（`/dashboard/simulations`）创建发布门禁套件——选择智能体，手动添加场景，或
点击 **使用 AI 生成场景**，根据智能体的提示词起草场景（可选择额外执行边缘情况检查），
然后将其分组到套件中。套件会固定其场景和智能体，并设置最低通过率以及可选的零严重失败规则。
通过的运行将成为已接受的基线；后续从通过→失败的变化将作为回归返回。

在 CI 中使用[组织 API 密钥](/api-reference/developer-api-keys)。
此脚本会触发套件，轮询直至评分和比较完成，并且仅当判定结果为 `pass` 时以零状态退出：

```bash
#!/usr/bin/env bash
set -euo pipefail

: "${THUNDERPHONE_API_KEY:?Set THUNDERPHONE_API_KEY}"
: "${THUNDERPHONE_ORG_ID:?Set THUNDERPHONE_ORG_ID}"
: "${THUNDERPHONE_SUITE_ID:?Set THUNDERPHONE_SUITE_ID}"

base="https://api.thunderphone.com/v1/orgs/${THUNDERPHONE_ORG_ID}/suites/${THUNDERPHONE_SUITE_ID}"
auth="Authorization: Bearer ${THUNDERPHONE_API_KEY}"

run_id="$(curl --fail --silent --show-error -X POST "${base}/run" \
  -H "$auth" -H "Content-Type: application/json" -d '{}' | jq -r '.id')"

deadline=$((SECONDS + 1800))
while (( SECONDS < deadline )); do
  result="$(curl --fail --silent --show-error \
    "${base}/runs/${run_id}" -H "$auth")"
  status="$(jq -r '.status' <<<"$result")"
  if [[ "$status" == "completed" ]]; then
    jq . <<<"$result"
    [[ "$(jq -r '.verdict' <<<"$result")" == "pass" ]]
    exit
  fi
  sleep 10
done

echo "ThunderPhone suite timed out" >&2
exit 1
```

`POST /v1/orgs/{org_id}/suites/{suite_id}/run` 会返回包含运行 ID 的 `202`。
`GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id}` 会返回
`status`、`verdict`、`pass_rate`、`critical_failure_count`，以及基线
`regressions` 列表。两个端点都会将 URL 中的组织绑定到 API 密钥所属的组织。

## 按计划运行套件

打开智能体的 **模拟** 标签页，选择 **发布门禁套件**，然后创建或编辑套件。
开启 **按计划运行**，选择 **频率** 和 **时区**，再按所示设置
**每小时的分钟数**、**本地时间** 或 **日期**。选择 **保存套件**。取消勾选
**按计划运行** 会移除控制台中的计划。

### 通过 API

对套件执行 PATCH，以添加或替换其计划。有关完整的套件对象和端点，请参阅[套件（发布门禁）](/api-reference/test-scenarios#suites-release-gates)。

```bash
curl -X PATCH https://api.thunderphone.com/v1/suites/{suite_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "schedule": {
      "enabled": true,
      "frequency": "daily",
      "timezone": "America/Chicago",
      "hour": 6,
      "minute": 30
    }
  }'
```

`frequency` 可以是 `hourly`、`daily` 或 `weekly`。请使用 IANA 时区。
每小时计划使用 `minute`；每日计划使用 `hour` 和 `minute`；
每周计划还使用 `weekday`，其中星期一为 `0`，星期日为 `6`。
套件响应包含 `next_run_at` 和 `last_run_at`。

时间会遵循所选时区的夏令时变化。计划运行会显示在套件的运行历史中，并使用其当前的智能体、场景、
条件和已接受基线。每个生成的测试通话都会发出
`test-call.completed`；没有套件级别的完成 Webhook。计划通话的计费费率与手动套件运行的模拟费率相同，
并会在套件运行中记录 `trigger: "schedule"`。

如需暂停计划而不更改其时间设置，请使用 `"enabled": false` 对完整的现有计划对象执行 PATCH。
必须提供 `frequency`；省略时区和时间字段会将其重置为默认值，因此请包含现有值。
发送 `"schedule": null` 以移除计划。

## 模式

### 按提示词划分的回归语料库

维护一个包含 `{name, scenario_prompt, expected_outcome}` 元组的 JSON 文件。
每次修改提示词时，都将完整集合以批次方式运行；将转录文本和评分与上一次运行结果进行差异比较。

### 按发布版本划分的冒烟测试

每次部署后运行一批包含五个顺利路径场景的测试。该测试对延迟敏感，因此请保持 `stagger_seconds: 0`。

### 延迟基准测试

针对不同产品层级（`spark`、`bolt`、`storm-base`）运行相同的场景。比较每个生成的通话日志中的 `call.graded` 分数和 `duration_seconds`。

---

## 后续步骤

<CardGroup cols={2}>
  <Card title="测试通话参考" icon="flask" href="/api-reference/test-calls">
    了解每个查询参数、状态代码和批次结构。
  </Card>
  <Card title="AI 评分" icon="chart-line" href="/api-reference/calls#ai-call-grading">
    自动为每次测试运行评分，长期跟踪质量。
  </Card>
  <Card title="问题报告" icon="triangle-exclamation" href="/api-reference/issue-reports">
    标记特定测试以供人工审核。
  </Card>
  <Card title="test-call.completed webhook" icon="bolt" href="/zh/webhooks/events">
    将结果流式传输到您的 CI / Slack / PagerDuty。
  </Card>
</CardGroup>