Developer cookbook

Ügynök teljes körű tesztelése (API)

Futtasson egyszeri szimulációkat, párhuzamos forgatókönyv-kötegeket és kiadási kapuként szolgáló tesztcsomagokat a ThunderPhone API-n keresztül, hogy az ügynök regresszióit még azelőtt észlelje, hogy az ügyfelek tapasztalnák őket.

Egy AI-ügynök iteratív fejlesztése a promptja, az eszközei és a szélső esetek kezelésének iteratív fejlesztését jelenti. A szimulációs API valós hívásokat futtat egy ügynök ellen az Ön által megadott forgatókönyv-prompt használatával. Egy ügynök megcélzása botok közötti futást hoz létre; egy telefonszám megcélzása SIP-visszacsatolási futást hoz létre. Minden futás valós hívásnaplót készít átirattal, értékeléssel és számlázási adatokkal, így pontosan láthatja, hogyan viselkedik az ügynök, és mennyibe kerül.

Használja erre:

• Telepítés előtti füsttesztek minden promptmódosítás után
• CI-be kötött regressziós tesztcsomagok (test-call.completed webhook → a build sikertelen, ha a pontszám csökken)
• Párhuzamossági korlátok terheléses tesztelése

Egyszeri futtatás: egyetlen futás#

curl -X POST https://api.thunderphone.com/v1/simulations \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "scenario_prompt": "You are a polite caller asking about refund policy for order 12345.",
    "consent_to_charge": true
  }'

Mezők:

A mode csak olvasható, és a target_type alapján származik: az agent mode="bot" értéket hoz létre, míg a phone_number mode="sip" értéket.

A válasz egy szimulációs futásobjektum status="queued" állapotban. Kérdezze le ismételten, amíg a status értéke completed vagy failed nem lesz; a call_id beállítása után töltse be az átiratot ezen keresztül: GET /v1/calls/{call_id}/transcript.

Kötegek: párhuzamos forgatókönyvek#

Futtasson N forgatókönyvet egyidejűleg — ez hasznos olyan regressziós tesztcsomagokhoz, amelyek minden ismert szélső esetet párhuzamosan vizsgálnak:

curl -X POST https://api.thunderphone.com/v1/simulations/batches \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "run_count":       5,
    "stagger_seconds": 2,
    "scenario_prompts": [
      "Ask about refund policy.",
      "Ask for hours of operation.",
      "Complain about a delayed shipment.",
      "Ask to speak with a human.",
      "Ask an unrelated trivia question."
    ],
    "consent_to_charge": true
  }'

A válasz a gyermekfuttatások azonosítóinak run_ids listáját tartalmazza. Kérje le a köteg állapotát:

curl https://api.thunderphone.com/v1/simulations/batches/{batch_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY"

A run_count legfeljebb 20 lehet; a stagger_seconds időben eltolja az indításokat, hogy elkerülje az ügynök túlterhelését (0–60 mp).

Integrálja a CI-be#

Hozzon létre kiadási kapu tesztcsomagot a Szimulációk oldalon (/dashboard/simulations) — válassza ki az ügynököt, adjon hozzá forgatókönyveket kézzel, vagy kattintson a Forgatókönyvek generálása AI-jal lehetőségre, hogy az ügynök promptja alapján elkészítse azok vázlatát (opcionális szélső eseteket célzó körrel), majd csoportosítsa őket egy tesztcsomagba. Egy tesztcsomag rögzíti a forgatókönyveit és az ügynököt, valamint egy minimális megfelelési arányt és egy opcionális, kritikus hibák nélküli szabályt. A sikeres futtatások lesznek az elfogadott alapvonal; a későbbi megfelelésből sikertelenségbe váltások regresszióként jelennek meg.

Használjon szervezeti API-kulcsot a CI-ben. Ez a szkript elindítja a tesztcsomagot, lekérdezi az állapotot, amíg az értékelés és az összehasonlítás befejeződik, és nem nullás kóddal lép ki, kivéve, ha az eredmény pass:

#!/usr/bin/env bash
set -euo pipefail
 
: "${THUNDERPHONE_API_KEY:?Set THUNDERPHONE_API_KEY}"
: "${THUNDERPHONE_ORG_ID:?Set THUNDERPHONE_ORG_ID}"
: "${THUNDERPHONE_SUITE_ID:?Set THUNDERPHONE_SUITE_ID}"
 
base="https://api.thunderphone.com/v1/orgs/${THUNDERPHONE_ORG_ID}/suites/${THUNDERPHONE_SUITE_ID}"
auth="Authorization: Bearer ${THUNDERPHONE_API_KEY}"
 
run_id="$(curl --fail --silent --show-error -X POST "${base}/run" \
  -H "$auth" -H "Content-Type: application/json" -d '{}' | jq -r '.id')"
 
deadline=$((SECONDS + 1800))
while (( SECONDS < deadline )); do
  result="$(curl --fail --silent --show-error \
    "${base}/runs/${run_id}" -H "$auth")"
  status="$(jq -r '.status' <<<"$result")"
  if [[ "$status" == "completed" ]]; then
    jq . <<<"$result"
    [[ "$(jq -r '.verdict' <<<"$result")" == "pass" ]]
    exit
  fi
  sleep 10
done
 
echo "ThunderPhone suite timed out" >&2
exit 1

A POST /v1/orgs/{org_id}/suites/{suite_id}/run 202 választ ad vissza a futtatásazonosítóval. A GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id} a status, verdict, pass_rate, critical_failure_count értékeket és az alapvonal regressions listáját adja vissza. Mindkét végpont az URL-ben szereplő szervezetet az API-kulcs szervezetéhez köti.

Minták#

Promptonkénti regressziós korpusz#

Tartson fenn egy {name, scenario_prompt, expected_outcome} értékeket tartalmazó JSON-fájlt. Minden promptmódosításkor futtassa a teljes készletet egy kötegként; hasonlítsa össze az átiratokat és az értékeléseket az előző futtatással.

Kiadásonkénti füstteszt#

Öt sikeres útvonalat lefedő forgatókönyv egyetlen kötege, amelyet minden telepítés után futtat. Érzékeny a késleltetésre, ezért tartsa meg a stagger_seconds: 0 értéket.

Késleltetési teljesítménymérés#

Futtasson azonos forgatókönyveket különböző termékszinteken (spark, bolt, storm-base). Hasonlítsa össze a call.graded pontszámokat és az egyes eredményül kapott hívásnaplókból származó duration_seconds értékeket.

Következő lépések#