Validációs készletek: valós hívásfordulók visszajátszása üzembe helyezés előtt
Alakítsa a valós ThunderPhone-hívások pillanatait újra felhasználható validációs példákká, tekintse át az elvárt viselkedést, játssza vissza őket egy ügynökvázlattal, és észlelje a regressziókat az üzembe helyezés előtt.
Egy validációs példa egy valós hívás egy ügynökfordulóját rögzíti: az azt megelőző beszélgetést, a hívó releváns hanganyagát, az ügynök tényleges viselkedését, valamint a helyes elvárt viselkedés alapigazságát. Egy készlet aktuális piszkozaton való újrajátszása újabb hívás indítása nélkül tárja fel a visszaeséseket.
Az egész szervezetre kiterjedő Validációs készletek oldalon
(/dashboard/validation) hozhatja létre és tekintheti át az adatkészletet.
Egy adott ügynök Validáció lapján futtathatja a készletet, és vizsgálhatja
meg a futási előzményeket.
Példák hozzáadása a híváselőzményekből
- Válassza a Példák hozzáadása lehetőséget
Válassza ki azt az ügynököt, amelynek viselkedését a példának validálnia kell. A munkaterület legfeljebb 25, az adott ügynökhöz tartozó közelmúltbeli, nem szimulációs hívást jelenít meg.
- Válasszon ki egy hívást és ügynökfordulót
Olvassa el az átiratot, vigye az egérmutatót a megőrizni kívánt ügynökforduló fölé, majd válassza az ellenőrzőlista-műveletet. Az adott fordulóig tartó beszélgetés és a hozzá tartozó hívói hanganyagszakaszok a validációs adatkészletbe kerülnek.
- Tekintse át az elvárást
A ThunderPhone elkészíti a helyes viselkedés leírásának piszkozatát. Szerkessze azt úgy, hogy konkrét és tesztelhető legyen, és igény szerint szerkessze az elfogadott példa-választ és az elvárt eszközhívásokat is.
- Mentse vagy aktiválja
A Piszkozat mentése a példát Ellenőrzésre vár állapotban hagyja. A Mentés és aktiválás felveszi azt a jövőbeli validációs futásokba.
Ugyanazon forduló másodszori előléptetése új példány létrehozása helyett a már meglévő példát használja újra.
Példatípusok és állapotok
A típusok azt írják le, miért létezik egy példa:
| Típus | Használat |
|---|---|
| Hiba | Olyan valós válasz, amely megmutatta azt a viselkedést, amelyet meg szeretne előzni. |
| Arany | Egy ismerten jó válasz, amelyet érdemes megőrizni. |
| Kézi | Kézzel összeállított eset, amely egyik kategóriába sem tartozik. |
Az állapotok az életciklust szabályozzák:
| Állapot | Jelentés |
|---|---|
| Ellenőrzésre vár | Az alapigazság még ellenőrzés alatt áll; a futásokból ki van zárva. |
| Aktív | A validációs futások része. |
| Elavult | A prompt a példa rögzítése óta megváltozott; ellenőrizze az elvárását. |
| Nem kompatibilis | A példa nem játszható újra az aktuális konfigurációval. |
| Archivált | Az előzmények megőrzése céljából megmarad, de a futásokból ki van zárva. |
Az adatkészlet böngészése és finomítása
Szűrje a szervezeti adatkészletet ügynök, állapot vagy típus szerint. Egy példa kiválasztásakor a következők jelennek meg:
- Rögzített beszélgetési környezet és lejátszható hívói hanganyagszakaszok.
- A forráshívás és az eredeti válasz.
- Az alapigazság elvárása, az elfogadott kimondott válasz és az eszközhívások.
- A legutóbbi újrajátszás az eredeti és az elvárt viselkedés mellett.
- A legutóbbi értékelés és a bíráló magyarázatai, ha elérhetők.
Az elvárás vagy az elfogadott válasz módosításához válassza az Alapigazság szerkesztése lehetőséget. Ha teljes futás indítása nélkül csak azt a példát szeretné tesztelni, válassza a Újrajátszás a piszkozaton lehetőséget. Az újrajátszások az ügynök aktuális piszkozatát használják, amely nem feltétlenül egyezik a telepített konfigurációjával.
Validációs készlet futtatása
Az ügynök Validáció lapján indítson futást minden aktív példán. Minden példa az alábbi értékelések egyikét kapja:
- Sikeres — a válasz megfelel az elvárásnak és a hívói hanganyagnak.
- Figyelmeztetés — a válasz használható, de egy ellenőrzés bizonytalanságot talált.
- Sikertelen — ellentmond a hanganyagnak, vagy nem teljesíti a kötelező viselkedést.
- Kihagyva — a szükséges hívói hanganyag nem tölthető be; a példa ki van zárva a sikerességi arány nevezőjéből.
- Hiba — az újrajátszás vagy az értékelés nem fejeződhetett be.
A futási összegzés tartalmazza a sikeres, figyelmeztető, sikertelen és kihagyott példák számát, a sikerességi arányt, a becsült költséget, valamint minden olyan visszaesést, amely az előző befejezett futás óta sikeresről sikertelenre váltott. Ügynökönként egyszerre csak egy validációs futás lehet aktív.
Telepítés validálási bizonyítékokkal
Ha egy ügynök rendelkezik validálási példákkal, a telepítési párbeszédpanel jelzi, hogy a legutóbb befejezett futtatás megfelel-e az aktuális piszkozatnak. Ön a következőket teheti:
- Telepíthet a megjelenített sikerességi aránnyal és regressziószámmal.
- Először lefuttathatja a validálást, ha nincs megfelelő futtatás.
- Szándékosan telepíthet akkor is, ha az eredményt már felülvizsgálták.
A validálás bizonyíték és telepítési ellenőrzés, nem pedig automatikus éles forgalommegosztás. Élő összehasonlításokhoz használja a Kísérletek (A/B-tesztelés) funkciót.
API-automatizálás
A Validation Sets API támogatja a fordulók előléptetését, a példák kezelését, a rögzített hang streamelését, az egyedi visszajátszásokat, a kötegelt futtatásokat, a futtatási eredményeket, a telepítéskori állapotot és a szervezeti áttekintést.