Otestujte agenta end-to-end (API)

Spouštějte jednorázové simulace, paralelní dávky scénářů a sady testů pro schválení vydání prostřednictvím rozhraní ThunderPhone API, aby se regrese agenta odhalily dříve, než je uslyší zákazníci.

Iterace AI agenta znamená iterace jeho promptu, nástrojů a způsobu, jakým zpracovává okrajové případy. API simulací spouští skutečné hovory s agentem pomocí vámi zadaného promptu scénáře. Cílení na agenta vytvoří běh bot-to-bot; cílení na telefonní číslo vytvoří běh se zpětnou smyčkou SIP. Každý běh vytváří skutečný protokol hovoru s přepisem, hodnocením a účtováním, takže přesně vidíte, jak se agent chová a kolik stojí.

Použijte jej pro:

• Rychlé testy před nasazením po každé úpravě promptu
• Regresní sady zapojené do CI (připojte webhook test-call.completed → sestavení selže, pokud skóre klesne)
• Zátěžové testování limitů souběžnosti

Jednorázově: jeden běh#

curl -X POST https://api.thunderphone.com/v1/simulations \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "scenario_prompt": "You are a polite caller asking about refund policy for order 12345.",
    "consent_to_charge": true
  }'

Pole:

mode je pouze pro čtení a odvozuje se z target_type: agent vytváří mode="bot", zatímco phone_number vytváří mode="sip".

Odpověď je objekt běhu simulace se stavem status="queued". Dotazujte se, dokud se status nezmění na completed nebo failed; jakmile je nastaveno call_id, načtěte přepis pomocí GET /v1/calls/{call_id}/transcript.

Dávky: paralelní scénáře#

Spusťte N scénářů souběžně — užitečné pro regresní sady, které paralelně pokrývají každý známý okrajový případ:

curl -X POST https://api.thunderphone.com/v1/simulations/batches \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "run_count":       5,
    "stagger_seconds": 2,
    "scenario_prompts": [
      "Ask about refund policy.",
      "Ask for hours of operation.",
      "Complain about a delayed shipment.",
      "Ask to speak with a human.",
      "Ask an unrelated trivia question."
    ],
    "consent_to_charge": true
  }'

Odpověď obsahuje seznam run_ids s ID podřízených běhů. Načtěte stav dávky:

curl https://api.thunderphone.com/v1/simulations/batches/{batch_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY"

Hodnota run_count je omezena na 20; stagger_seconds rozkládá spouštění v čase, aby nedocházelo k nadměrnému zatížení agenta (0–60 s).

Zapojení do CI#

Na stránce Simulace (/dashboard/simulations) vytvořte sadu bran vydání — vyberte agenta, přidejte scénáře ručně nebo klikněte na Generovat scénáře pomocí AI, aby se návrhy vytvořily z promptu agenta (včetně volitelného průchodu okrajovými případy), a seskupte je do sady. Sada připne své scénáře a agenta, minimální úspěšnost i volitelné pravidlo nulového počtu kritických selhání. Úspěšné běhy se stanou přijatou základní linií; pozdější přechody z úspěchu na selhání se vracejí jako regrese.

V CI použijte organizační klíč API. Tento skript spustí sadu, dotazuje se, dokud není dokončeno hodnocení a porovnání, a skončí s nenulovým kódem, pokud verdikt není pass:

#!/usr/bin/env bash
set -euo pipefail
 
: "${THUNDERPHONE_API_KEY:?Set THUNDERPHONE_API_KEY}"
: "${THUNDERPHONE_ORG_ID:?Set THUNDERPHONE_ORG_ID}"
: "${THUNDERPHONE_SUITE_ID:?Set THUNDERPHONE_SUITE_ID}"
 
base="https://api.thunderphone.com/v1/orgs/${THUNDERPHONE_ORG_ID}/suites/${THUNDERPHONE_SUITE_ID}"
auth="Authorization: Bearer ${THUNDERPHONE_API_KEY}"
 
run_id="$(curl --fail --silent --show-error -X POST "${base}/run" \
  -H "$auth" -H "Content-Type: application/json" -d '{}' | jq -r '.id')"
 
deadline=$((SECONDS + 1800))
while (( SECONDS < deadline )); do
  result="$(curl --fail --silent --show-error \
    "${base}/runs/${run_id}" -H "$auth")"
  status="$(jq -r '.status' <<<"$result")"
  if [[ "$status" == "completed" ]]; then
    jq . <<<"$result"
    [[ "$(jq -r '.verdict' <<<"$result")" == "pass" ]]
    exit
  fi
  sleep 10
done
 
echo "ThunderPhone suite timed out" >&2
exit 1

POST /v1/orgs/{org_id}/suites/{suite_id}/run vrací 202 s ID běhu. GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id} vrací status, verdict, pass_rate, critical_failure_count a seznam regresí základní linie regressions. Oba endpointy svážou organizaci v adrese URL s organizací klíče API.

Spuštění sady podle plánu#

Otevřete kartu agenta Simulovat, vyberte Sady bran vydání a vytvořte nebo upravte sadu. Zapněte Spouštět podle plánu, zvolte Frekvence a Časové pásmo a poté podle zobrazení nastavte Minuta po celé hodině, Místní čas nebo Den. Vyberte Uložit sadu. Zrušením zaškrtnutí Spouštět podle plánu odstraníte plán z řídicího panelu.

Prostřednictvím API#

Pomocí PATCH upravte sadu a přidejte nebo nahraďte její plán. Úplný objekt sady a endpointy najdete v části Sady (brány vydání).

curl -X PATCH https://api.thunderphone.com/v1/suites/{suite_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "schedule": {
      "enabled": true,
      "frequency": "daily",
      "timezone": "America/Chicago",
      "hour": 6,
      "minute": 30
    }
  }'

frequency může být hourly, daily nebo weekly. Použijte časové pásmo IANA. Hodinové plány používají minute; denní plány používají hour a minute; týdenní plány navíc používají weekday, kde pondělí je 0 a neděle je 6. Odpověď sady obsahuje next_run_at a last_run_at.

Časy se řídí změnami letního času ve vybraném časovém pásmu. Plánované běhy se zobrazují v historii běhů sady a používají její aktuální agent, scénáře, kritéria a přijatou základní linii. Každý vygenerovaný testovací hovor emituje test-call.completed; webhook pro dokončení na úrovni sady neexistuje. Plánované hovory jsou účtovány stejnou sazbou za simulaci jako ruční běhy sady a v běhu sady zaznamenají trigger: "schedule".

Chcete-li plán pozastavit bez změny jeho časování, pomocí PATCH odešlete úplný existující objekt plánu s "enabled": false. Pole frequency je povinné; vynechané časové pásmo a časová pole se obnoví na výchozí hodnoty, proto zahrňte existující hodnoty. Chcete-li plán odstranit, odešlete "schedule": null.

Vzory#

Regresní korpus pro jednotlivé prompty#

Udržujte soubor JSON s n-ticemi {name, scenario_prompt, expected_outcome}. Při každé změně promptu spusťte celou sadu jako dávku; porovnejte přepisy a hodnocení s předchozím spuštěním.

Smoke test pro každé vydání#

Jedna dávka pěti scénářů bez problémů, kterou spustíte po každém nasazení. Je citlivý na latenci, proto ponechte stagger_seconds: 0.

Benchmarking latence#

Spouštějte stejné scénáře pro různé produktové úrovně (spark, bolt, storm-base). Porovnejte skóre call.graded a hodnoty duration_seconds z každého výsledného protokolu hovoru.

Další kroky#