Open in

端到端測試智慧體（API）

透過 ThunderPhone API 執行單次模擬、平行情境批次與發佈閘門測試套件，在客戶聽到之前就找出智慧體回歸問題。

反覆調整 AI 智慧體，代表反覆調整其提示、工具，以及處理邊界情況的方式。模擬 API 會使用你提供的情境提示，對智慧體進行真實通話。以智慧體為目標會建立機器人對機器人的執行；以電話號碼為目標則會建立 SIP 迴路執行。每次執行都會產生包含逐字稿、評分和計費資訊的真實通話紀錄，因此你能確切了解智慧體的行為與成本。

適用於：

每次修改提示後，在部署前進行冒煙測試
串接至 CI 的迴歸測試套件（連接 test-call.completed webhook → 若分數下降則讓建置失敗）
壓力測試並行限制

一次性執行：單次執行

curl -X POST https://api.thunderphone.com/v1/simulations \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "scenario_prompt": "You are a polite caller asking about refund policy for order 12345.",
    "consent_to_charge": true
  }'

欄位：

欄位	類型	必填	說明
`target_type`	字串	是	`agent` 或 `phone_number`
`target_id`	整數	是	智慧體 ID（或電話號碼 ID）
`direction`	字串	否	`outbound`（預設；由測試來電者撥出）或 `inbound`（由測試來電者接聽）
`scenario_prompt`	字串	否	決定測試機器人要說的內容
`language` / `primary_language`	字串	否	測試來電者使用的語言；不支援的代碼會遭拒絕
`simulator_product`	字串	否	`testing`（預設）或 `spark`，用於更接近真人的模擬來電者，例如暖轉接諮詢測試
`consent_to_charge`	布林值	是	必須為 `true`。預估費用會以固定的每分鐘費率，向所選智慧體與模擬來電者雙方計費，另加任何電話線路費用
`target_number`	字串	否	遠端一方的 E.164 覆寫值；否則使用平台測試號碼

mode 為唯讀，並由 target_type 衍生：agent 會產生 mode="bot"，而 phone_number 會產生 mode="sip"。

回應為 status="queued" 的模擬執行物件。輪詢直到 status 變為 completed 或 failed；設定 call_id 後，透過 GET /v1/calls/{call_id}/transcript 載入逐字稿。

批次：平行情境

同時執行 N 個情境——適合用於平行涵蓋每個已知邊界情況的迴歸測試套件：

curl -X POST https://api.thunderphone.com/v1/simulations/batches \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "run_count":       5,
    "stagger_seconds": 2,
    "scenario_prompts": [
      "Ask about refund policy.",
      "Ask for hours of operation.",
      "Complain about a delayed shipment.",
      "Ask to speak with a human.",
      "Ask an unrelated trivia question."
    ],
    "consent_to_charge": true
  }'

回應包含子執行 ID 的 run_ids 清單。取得批次狀態：

curl https://api.thunderphone.com/v1/simulations/batches/{batch_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY"

run_count 上限為 20；stagger_seconds 會錯開啟動時間，以避免對智慧體造成過度負載（0–60 秒）。

將其串接至 CI

在模擬頁面 (/dashboard/simulations) 建立發布閘門套件——選擇智慧體、手動新增情境，或按一下 使用 AI 產生情境，根據智慧體的提示草擬情境（可選擇進行邊緣案例檢查），然後將其分組為套件。套件會固定其情境和智慧體，並設定最低通過率與可選的零嚴重失敗規則。通過的執行會成為已接受的基準；後續從通過→失敗的轉變會回傳為迴歸問題。

在 CI 中使用組織 API 金鑰。此指令碼會觸發套件、持續輪詢直到評分與比較完成，且除非判定為 pass，否則會以非零狀態結束：

#!/usr/bin/env bash
set -euo pipefail
 
: "${THUNDERPHONE_API_KEY:?Set THUNDERPHONE_API_KEY}"
: "${THUNDERPHONE_ORG_ID:?Set THUNDERPHONE_ORG_ID}"
: "${THUNDERPHONE_SUITE_ID:?Set THUNDERPHONE_SUITE_ID}"
 
base="https://api.thunderphone.com/v1/orgs/${THUNDERPHONE_ORG_ID}/suites/${THUNDERPHONE_SUITE_ID}"
auth="Authorization: Bearer ${THUNDERPHONE_API_KEY}"
 
run_id="$(curl --fail --silent --show-error -X POST "${base}/run" \
  -H "$auth" -H "Content-Type: application/json" -d '{}' | jq -r '.id')"
 
deadline=$((SECONDS + 1800))
while (( SECONDS < deadline )); do
  result="$(curl --fail --silent --show-error \
    "${base}/runs/${run_id}" -H "$auth")"
  status="$(jq -r '.status' <<<"$result")"
  if [[ "$status" == "completed" ]]; then
    jq . <<<"$result"
    [[ "$(jq -r '.verdict' <<<"$result")" == "pass" ]]
    exit
  fi
  sleep 10
done
 
echo "ThunderPhone suite timed out" >&2
exit 1

POST /v1/orgs/{org_id}/suites/{suite_id}/run 會回傳包含執行 ID 的 202。 GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id} 會回傳 status、verdict、pass_rate、critical_failure_count，以及基準 regressions 清單。兩個端點都會將 URL 中的組織綁定至 API 金鑰所屬的組織。

依排程執行套件

開啟智慧體的模擬分頁，選取 發布閘門套件，然後建立或編輯套件。啟用 依排程執行，選擇頻率和時區，再依顯示設定 整點後分鐘數、本地時間 或日期。選取 儲存套件。取消勾選 依排程執行 會移除控制台排程。

透過 API

使用 PATCH 更新套件以新增或取代其排程。請參閱套件（發布閘門），瞭解完整的套件物件與端點。

curl -X PATCH https://api.thunderphone.com/v1/suites/{suite_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "schedule": {
      "enabled": true,
      "frequency": "daily",
      "timezone": "America/Chicago",
      "hour": 6,
      "minute": 30
    }
  }'

frequency 可以是 hourly、daily 或 weekly。請使用 IANA 時區。每小時排程使用 minute；每日排程使用 hour 和 minute；每週排程還會使用 weekday，其中星期一為 0，星期日為 6。套件回應包含 next_run_at 和 last_run_at。

時間會隨所選時區的夏令時間變化而調整。排程執行會顯示在套件的執行紀錄中，並使用其目前的智慧體、情境、條件及已接受的基準。每次產生的測試通話都會發出 test-call.completed；沒有套件層級的完成 Webhook。排程通話的計費費率與手動執行套件的模擬費率相同，並會在套件執行中記錄 trigger: "schedule"。

若要暫停排程而不變更其時間設定，請使用 PATCH 更新完整的現有排程物件，並將 "enabled": false。frequency 為必要欄位；省略時區和時間欄位會將其重設為預設值，因此請包含現有值。傳送 "schedule": null 以移除排程。

AI 評分

自動為每次測試執行評分，以追蹤長期品質。

問題回報

標示特定測試以供人工審查。

test-call.completed webhook

將結果串流至你的 CI / Slack / PagerDuty。

端到端測試智慧體（API）

一次性執行：單次執行

批次：平行情境

將其串接至 CI

依排程執行套件

透過 API

模式

每個提示詞的迴歸測試語料庫

每個版本發布的冒煙測試

延遲基準測試

後續步驟