Validační sady: přehrajte skutečné části hovoru před nasazením
Proměňte skutečné momenty z hovorů ThunderPhone na znovupoužitelné validační příklady, zkontrolujte očekávané chování, přehrajte je proti návrhu agenta a zachyťte regrese před nasazením.
Příklad validace zmrazí jeden tah agenta ze skutečného hovoru: konverzaci, která mu předcházela, relevantní zvuk volajícího, co agent skutečně udělal a základní pravdu o tom, co by měl udělat. Přehrání sady proti aktuálnímu konceptu zachytí regrese bez uskutečnění dalšího hovoru.
K sestavení a kontrole datové sady použijte stránku Validační sady
pro celou organizaci (/dashboard/validation). K spuštění sady a kontrole
historie běhů použijte kartu Validace jednotlivého agenta.
Přidání příkladů z historie hovorů
- Zvolte Přidat příklady
Vyberte agenta, jehož chování má příklad ověřit. Pracovní prostor zobrazí až 25 posledních nesimulačních hovorů daného agenta.
- Vyberte hovor a tah agenta
Přečtěte si přepis, najeďte na tah agenta, který chcete zachovat, a vyberte akci kontrolního seznamu. Konverzace až po tento tah a příslušné zvukové úseky volajícího se zkopírují do validační datové sady.
- Zkontrolujte očekávání
ThunderPhone připraví návrh popisu správného chování. Upravte jej tak, aby byl konkrétní a testovatelný, a případně upravte přijatou ukázkovou odpověď a očekávaná volání nástrojů.
- Uložte nebo aktivujte
Uložit koncept ponechá příklad ve stavu Vyžaduje kontrolu. Uložit a aktivovat jej zahrne do budoucích validačních běhů.
Opětovné povýšení stejného tahu znovu použije existující příklad namísto vytvoření dvou kopií.
Typy a stavy příkladů
Typy popisují, proč příklad existuje:
| Typ | Použití |
|---|---|
| Selhání | Skutečná odpověď, která odhalila chování, kterému chcete zabránit. |
| Vzorový | Známá správná odpověď, kterou stojí za to zachovat. |
| Ruční | Ručně sestavený případ, který nepatří ani do jedné z těchto kategorií. |
Stavy řídí životní cyklus:
| Stav | Význam |
|---|---|
| Vyžaduje kontrolu | Základní pravda se stále kontroluje; je vyloučena z běhů. |
| Aktivní | Je zahrnut do validačních běhů. |
| Zastaralý | Od zmrazení příkladu se změnila výzva; zkontrolujte jeho očekávání. |
| Nekompatibilní | Příklad nelze přehrát s aktuální konfigurací. |
| Archivovaný | Je zachován pro historii, ale vyloučen z běhů. |
Procházení a upřesňování datové sady
Datovou sadu organizace filtrujte podle agenta, stavu nebo typu. Výběr příkladu zobrazí:
- Zmrazený kontext konverzace a přehratelné zvukové úseky volajícího.
- Zdrojový hovor a původní odpověď.
- Očekávání základní pravdy, přijatou mluvenou odpověď a volání nástrojů.
- Nejnovější přehrání vedle původního a očekávaného chování.
- Nejnovější verdikt a vysvětlení hodnotitele, pokud jsou k dispozici.
Chcete-li upravit očekávání nebo přijatou odpověď, zvolte Upravit základní pravdu. Chcete-li otestovat pouze tento příklad bez spuštění celého běhu, zvolte Přehrát proti konceptu. Přehrání používají aktuální koncept agenta, nikoli nutně jeho nasazenou konfiguraci.
Spuštění validační sady
Na kartě Validace agenta spusťte běh nad každým aktivním příkladem. Každý příklad obdrží jeden z těchto verdiktů:
- Úspěch — odpověď splňuje očekávání a zvuk volajícího.
- Varování — odpověď je použitelná, ale jedna kontrola zjistila nejistotu.
- Selhání — odporuje zvuku nebo postrádá požadované chování.
- Přeskočeno — nepodařilo se načíst požadovaný zvuk volajícího; je vyloučen ze jmenovatele míry úspěšnosti.
- Chyba — nepodařilo se dokončit přehrání nebo hodnocení.
Souhrn běhu uvádí počty úspěchů, varování, selhání a přeskočení, míru úspěšnosti, odhadované náklady a případnou regresi z úspěchu na selhání od předchozího dokončeného běhu. V jednu chvíli může být aktivní pouze jeden validační běh pro každého agenta.
Nasazení s důkazy z validace
Když má agent příklady validace, dialog nasazení uvádí, zda nejnovější dokončený běh odpovídá aktuálnímu konceptu. Můžete:
- Nasadit se zobrazenou mírou úspěšnosti a počtem regresí.
- Nejprve spustit validaci, pokud neexistuje odpovídající běh.
- Záměrně nasadit i přesto, když byl výsledek zkontrolován.
Validace je důkaz a kontrola před nasazením, nikoli automatické rozdělení provozního provozu. Pro porovnání v reálném provozu použijte Experimenty (A/B testování).
Automatizace API
API sad validace zahrnuje povyšování tahů, správu příkladů, streamování připnutého zvuku, jednotlivá přehrání, dávkové běhy, výsledky běhů, stav při nasazení a přehled organizace.