---
title: "測試智能體的端到端流程（API）"
description: "透過 ThunderPhone API 執行單次模擬、並行場景批次及發布閘門測試套件，在客戶聽到問題前捕捉智能體回歸問題。"
---

<Note>
  較喜歡使用控制台？同樣功能亦可在 **模擬**
  （`/dashboard/simulations`）中使用，包括 AI 情境產生功能——請參閱
  [模擬通話](/yue/guides/simulate-a-call)。本頁介紹程式化方式。
</Note>

要持續改進 AI 智能體，就要持續調整其提示、工具，以及處理邊緣情況的方式。
**模擬 API** 會根據你提供的情境提示，對智能體撥打真實通話。以智能體為目標會建立
機械人對機械人的執行；以電話號碼為目標則會建立 SIP 回環執行。每次執行均會產生包含
逐字稿、評分及收費資料的真實通話記錄，讓你清楚了解智能體的行為及成本。

適用於：

- 每次修改提示後，在部署前進行冒煙測試
- 連接至 CI 的回歸測試套件（接收 `test-call.completed` webhook
  → 如分數下降則令建置失敗）
- 壓力測試並發限制

## 單次執行：單一測試

```bash
curl -X POST https://api.thunderphone.com/v1/simulations \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "scenario_prompt": "You are a polite caller asking about refund policy for order 12345.",
    "consent_to_charge": true
  }'
```

欄位：

| 欄位 | 類型 | 必填 | 說明 |
|-------|------|----------|-------------|
| `target_type` | 字串 | 是 | `agent` 或 `phone_number` |
| `target_id` | 整數 | 是 | 智能體 ID（或電話號碼 ID） |
| `direction` | 字串 | 否 | `outbound`（預設；測試來電者撥出）或 `inbound`（測試來電者接聽） |
| `scenario_prompt` | 字串 | 否 | 控制測試機械人的說話內容 |
| `language` / `primary_language` | 字串 | 否 | 測試來電者使用的語言；不支援的代碼會被拒絕 |
| `simulator_product` | 字串 | 否 | `testing`（預設），或使用 `spark` 以模擬更接近真人的來電者，例如暖轉接諮詢測試 |
| `consent_to_charge` | 布林值 | **是** | 必須為 `true`。預估費用會同時向所選智能體及模擬來電者收費，另加任何電訊通話線路費用 |
| `target_number` | 字串 | 否 | 遠端一方的 E.164 覆寫值；否則會使用平台測試號碼 |

`mode` 為唯讀，並由 `target_type` 衍生：`agent` 會產生
`mode="bot"`，而 `phone_number` 會產生 `mode="sip"`。

回應為處於 `status="queued"` 狀態的[模擬執行物件](/api-reference/test-calls#test-call-run-object)。
持續輪詢，直至 `status` 變為 `completed` 或
`failed`；設定 `call_id` 後，可透過
[`GET /v1/calls/{call_id}/transcript`](/api-reference/calls#get-transcript) 載入逐字稿。

## 批次：並行測試情境

同時執行 N 個情境——適合讓回歸測試套件並行測試每個已知邊緣情況：

```bash
curl -X POST https://api.thunderphone.com/v1/simulations/batches \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "run_count":       5,
    "stagger_seconds": 2,
    "scenario_prompts": [
      "Ask about refund policy.",
      "Ask for hours of operation.",
      "Complain about a delayed shipment.",
      "Ask to speak with a human.",
      "Ask an unrelated trivia question."
    ],
    "consent_to_charge": true
  }'
```

回應會包含子執行 ID 的 `run_ids` 清單。取得批次
狀態：

```bash
curl https://api.thunderphone.com/v1/simulations/batches/{batch_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY"
```

`run_count` 上限為 20；`stagger_seconds` 會錯開建立執行的時間，
以避免對智能體造成過高負載（0–60 秒）。

## 連接至 CI

在 **模擬** 頁面
(`/dashboard/simulations`) 建立發佈閘門套件——選擇智能體、手動加入情境，
或按一下 **使用 AI 生成情境**，根據智能體的提示草擬情境
（可選擇額外進行邊界情況檢查），然後將它們歸類至套件。
套件會固定其情境及智能體，並設定最低通過率及可選的零嚴重失敗規則。
通過的執行結果會成為已接受的基準；其後由通過→失敗的轉變會作為回歸結果傳回。

在 CI 中使用[組織 API 金鑰](/api-reference/developer-api-keys)。
此指令碼會觸發套件、持續輪詢直至評分及比較完成，除非判定結果為 `pass`，
否則會以非零狀態結束：

```bash
#!/usr/bin/env bash
set -euo pipefail

: "${THUNDERPHONE_API_KEY:?Set THUNDERPHONE_API_KEY}"
: "${THUNDERPHONE_ORG_ID:?Set THUNDERPHONE_ORG_ID}"
: "${THUNDERPHONE_SUITE_ID:?Set THUNDERPHONE_SUITE_ID}"

base="https://api.thunderphone.com/v1/orgs/${THUNDERPHONE_ORG_ID}/suites/${THUNDERPHONE_SUITE_ID}"
auth="Authorization: Bearer ${THUNDERPHONE_API_KEY}"

run_id="$(curl --fail --silent --show-error -X POST "${base}/run" \
  -H "$auth" -H "Content-Type: application/json" -d '{}' | jq -r '.id')"

deadline=$((SECONDS + 1800))
while (( SECONDS < deadline )); do
  result="$(curl --fail --silent --show-error \
    "${base}/runs/${run_id}" -H "$auth")"
  status="$(jq -r '.status' <<<"$result")"
  if [[ "$status" == "completed" ]]; then
    jq . <<<"$result"
    [[ "$(jq -r '.verdict' <<<"$result")" == "pass" ]]
    exit
  fi
  sleep 10
done

echo "ThunderPhone suite timed out" >&2
exit 1
```

`POST /v1/orgs/{org_id}/suites/{suite_id}/run` 會傳回包含執行 ID 的 `202`。
`GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id}` 會傳回
`status`、`verdict`、`pass_rate`、`critical_failure_count`，以及基準
`regressions` 清單。兩個端點均會將 URL 中的組織與 API 金鑰的組織綁定。

## 按排程執行套件

開啟智能體的 **模擬** 分頁，選擇 **發佈閘門套件**，然後建立或編輯套件。
啟用 **按排程執行**，選擇 **頻率** 及 **時區**，然後按需要設定
**每小時分鐘數**、**本地時間** 或 **日期**。選擇 **儲存套件**。
取消勾選 **按排程執行** 會移除控制台排程。

### 透過 API

對套件執行 PATCH，以新增或取代其排程。有關完整套件物件及端點，請參閱
[套件（發佈閘門）](/api-reference/test-scenarios#suites-release-gates)。

```bash
curl -X PATCH https://api.thunderphone.com/v1/suites/{suite_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "schedule": {
      "enabled": true,
      "frequency": "daily",
      "timezone": "America/Chicago",
      "hour": 6,
      "minute": 30
    }
  }'
```

`frequency` 可以是 `hourly`、`daily` 或 `weekly`。請使用 IANA 時區。
每小時排程使用 `minute`；每日排程使用 `hour` 及 `minute`；
每週排程亦使用 `weekday`，其中星期一為 `0`，星期日為 `6`。
套件回應包括 `next_run_at` 及 `last_run_at`。

時間會隨所選時區的夏令時間調整而變動。已排程的執行會顯示於套件的執行記錄，
並使用其目前的智能體、情境、準則及已接受基準。每個生成的測試通話均會發出
`test-call.completed`；並無套件層級的完成 webhook。已排程通話會按與手動套件執行
相同的模擬費率收費，並在套件執行中記錄 `trigger: "schedule"`。

如要暫停排程而不更改其時間設定，請以 `"enabled": false` PATCH 完整的現有排程物件。
必須提供 `frequency`；如省略時區及時間欄位，將重設為預設值，因此請包括現有值。
傳送 `"schedule": null` 以移除排程。

## 模式

### 按提示詞建立迴歸測試語料庫

維護一個包含 `{name, scenario_prompt, expected_outcome}`
元組的 JSON 檔案。每次修改提示詞後，以批次方式執行完整測試集；將通話記錄文字稿及評分與上次執行結果比較差異。

### 每次發佈的煙霧測試

每次部署後執行一批包含五個順利流程情境的測試。此測試對延遲較敏感，因此請保持 `stagger_seconds: 0`。

### 延遲基準測試

針對不同產品方案（`spark`、
`bolt`、`storm-base`）執行相同情境。比較每個產生的通話記錄中的 `call.graded` 分數及
`duration_seconds`。

---

## 下一步

<CardGroup cols={2}>
  <Card title="測試通話參考資料" icon="flask" href="/api-reference/test-calls">
    所有查詢參數、狀態碼及批次格式。
  </Card>
  <Card title="AI 評分" icon="chart-line" href="/api-reference/calls#ai-call-grading">
    自動為每次測試執行評分，以追蹤品質隨時間的變化。
  </Card>
  <Card title="問題報告" icon="triangle-exclamation" href="/api-reference/issue-reports">
    標記特定測試以供人工審核。
  </Card>
  <Card title="test-call.completed webhook" icon="bolt" href="/yue/webhooks/events">
    將結果串流至你的 CI / Slack / PagerDuty。
  </Card>
</CardGroup>