Otestujte agenta komplexne (API)

Iterovanie hlasového agenta znamená iterovanie jeho výzvy, nástrojov a spôsobu spracovania okrajových prípadov. API simulácií uskutočňuje skutočné hovory s agentom pomocou scenárovej výzvy, ktorú zadáte. Cielenie na agenta vytvorí spustenie bot-bot; cielenie na telefónne číslo vytvorí spustenie spätnej slučky SIP. Každé spustenie vytvorí skutočný záznam hovoru s prepisom, hodnotením a účtovaním, takže presne vidíte, ako sa agent správa a koľko stojí.

Použite ho na:

• Rýchle testy pred nasadením po každej úprave výzvy
• Regresné balíky pripojené do CI (pripojte webhook test-call.completed → nechajte zlyhať zostavenie, ak skóre klesne)
• Záťažové testovanie limitov súbežnosti

Jednorazovo: jedno spustenie

curl -X POST https://api.thunderphone.com/v1/simulations \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "scenario_prompt": "You are a polite caller asking about refund policy for order 12345.",
    "consent_to_charge": true
  }'

Polia:

mode je iba na čítanie a odvodzuje sa z target_type: agent vytvorí mode="bot", zatiaľ čo phone_number vytvorí mode="sip".

Odpoveď je objekt spustenia simulácie so stavom status="queued". Dotazujte sa, kým sa status nezmení na completed alebo failed; po nastavení call_id načítajte prepis pomocou GET /v1/calls/{call_id}/transcript.

Dávky: paralelné scenáre

Spustite N scenárov súbežne — užitočné pre regresné balíky, ktoré paralelne pokrývajú každý známy okrajový prípad:

curl -X POST https://api.thunderphone.com/v1/simulations/batches \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "run_count":       5,
    "stagger_seconds": 2,
    "scenario_prompts": [
      "Ask about refund policy.",
      "Ask for hours of operation.",
      "Complain about a delayed shipment.",
      "Ask to speak with a human.",
      "Ask an unrelated trivia question."
    ],
    "consent_to_charge": true
  }'

Odpoveď obsahuje zoznam run_ids s ID podradených spustení. Získajte stav dávky:

curl https://api.thunderphone.com/v1/simulations/batches/{batch_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY"

Hodnota run_count je obmedzená na 20; stagger_seconds rozloží spúšťanie v čase, aby nedošlo k preťaženiu agenta (0–60 s).

Pripojte ho k CI

Na stránke Simulácie (/dashboard/simulations) vytvorte sadu brány vydania — vyberte agenta, pridajte scenáre ručne alebo kliknite na Generovať scenáre pomocou AI, aby ste ich navrhli z promptu agenta (s voliteľnou kontrolou okrajových prípadov), a zoskupte ich do sady. Sada pevne viaže svoje scenáre a agenta spolu s minimálnou mierou úspešnosti a voliteľným pravidlom nulového počtu kritických zlyhaní. Úspešné spustenia sa stanú akceptovanou základnou líniou; neskoršie prechody úspech→zlyhanie sa vrátia ako regresie.

V CI použite organizačný kľúč API. Tento skript spustí sadu, pravidelne kontroluje stav, kým sa nedokončí hodnotenie a porovnanie, a skončí s nenulovým kódom, pokiaľ nie je verdikt pass:

#!/usr/bin/env bash
set -euo pipefail

: "${THUNDERPHONE_API_KEY:?Set THUNDERPHONE_API_KEY}"
: "${THUNDERPHONE_ORG_ID:?Set THUNDERPHONE_ORG_ID}"
: "${THUNDERPHONE_SUITE_ID:?Set THUNDERPHONE_SUITE_ID}"

base="https://api.thunderphone.com/v1/orgs/${THUNDERPHONE_ORG_ID}/suites/${THUNDERPHONE_SUITE_ID}"
auth="Authorization: Bearer ${THUNDERPHONE_API_KEY}"

run_id="$(curl --fail --silent --show-error -X POST "${base}/run" \
  -H "$auth" -H "Content-Type: application/json" -d '{}' | jq -r '.id')"

deadline=$((SECONDS + 1800))
while (( SECONDS < deadline )); do
  result="$(curl --fail --silent --show-error \
    "${base}/runs/${run_id}" -H "$auth")"
  status="$(jq -r '.status' <<<"$result")"
  if [[ "$status" == "completed" ]]; then
    jq . <<<"$result"
    [[ "$(jq -r '.verdict' <<<"$result")" == "pass" ]]
    exit
  fi
  sleep 10
done

echo "ThunderPhone suite timed out" >&2
exit 1

POST /v1/orgs/{org_id}/suites/{suite_id}/run vráti 202 s ID spustenia. GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id} vráti status, verdict, pass_rate, critical_failure_count a zoznam regresií základnej línie regressions. Oba endpointy viažu organizáciu v URL na organizáciu kľúča API.

Vzory

Korpus regresií pre jednotlivé prompty

Udržiavajte súbor JSON s n-ticami {name, scenario_prompt, expected_outcome}. Pri každej zmene promptu spustite celú množinu ako dávku; porovnajte transkripty a hodnotenia s predchádzajúcim spustením.

Dymový test pre každé vydanie

Jedna dávka piatich scenárov bežného priebehu, ktorú spustíte po každom nasadení. Je citlivá na latenciu, preto ponechajte stagger_seconds: 0.

Porovnávanie latencie

Spustite identické scenáre pre rôzne produktové úrovne (spark, bolt, storm-base). Porovnajte skóre call.graded a duration_seconds z každého výsledného záznamu hovoru.

Ďalšie kroky