Nabori za preverjanje: pred uvedbo ponovno predvajajte resnične poteke klicev
Primer validacije zamrzne eno potezo agenta iz resničnega klica: pogovor pred njo, ustrezen zvok klicatelja, dejanje, ki ga je agent dejansko izvedel, in referenčno pravilno stanje za dejanje, ki bi ga moral izvesti. Ponovno predvajanje nabora glede na trenutni osnutek odkrije regresije brez izvedbe novega klica.
Za izdelavo in pregled podatkovnega nabora uporabite stran Validacijski nabori
za celotno organizacijo (/dashboard/validation). Za zagon nabora in pregled zgodovine
zagonov uporabite zavihek Validacija posameznega agenta.
Dodajte primere iz zgodovine klicev
- Izberite Dodaj primere
Izberite agenta, katerega vedenje naj primer validira. Delovni prostor prikaže do 25 nedavnih klicev brez simulacije za tega agenta.
- Izberite klic in potezo agenta
Preberite prepis, premaknite kazalec nad potezo agenta, ki jo želite ohraniti, in izberite dejanje kontrolnega seznama. Pogovor do te poteze ter povezani zvočni odseki klicatelja se kopirajo v validacijski podatkovni nabor.
- Preglejte pričakovano vedenje
ThunderPhone pripravi osnutek opisa pravilnega vedenja. Uredite ga, da bo specifičen in preverljiv, po želji pa uredite tudi sprejeti primer odgovora in pričakovane klice orodij.
- Shranite ali aktivirajte
Shrani osnutek pusti primer v stanju Potreben pregled. Shrani in aktiviraj ga vključi v prihodnje validacijske zagone.
Če isto potezo dvakrat promovirate, se znova uporabi obstoječi primer, namesto da bi se ustvarili dve kopiji.
Vrste in stanja primerov
Vrste opisujejo, zakaj primer obstaja:
| Vrsta | Uporaba |
|---|---|
| Napaka | Resničen odgovor, ki je razkril vedenje, ki ga želite preprečiti. |
| Zlati | Znan dober odgovor, ki ga je vredno ohraniti. |
| Ročni | Ročno izbran primer, ki ne spada v nobeno od kategorij. |
Stanja nadzorujejo življenjski cikel:
| Stanje | Pomen |
|---|---|
| Potreben pregled | Referenčno pravilno stanje se še pregleduje; izključeno iz zagonov. |
| Aktivno | Vključeno v validacijske zagone. |
| Zastarelo | Poziv se je spremenil, odkar je bil primer zamrznjen; preglejte njegovo pričakovano vedenje. |
| Nezdružljivo | Primera ni mogoče ponovno predvajati s trenutno konfiguracijo. |
| Arhivirano | Ohranjeno za zgodovino, vendar izključeno iz zagonov. |
Prebrskajte in izboljšajte podatkovni nabor
Podatkovni nabor organizacije filtrirajte po agentu, stanju ali vrsti. Z izbiro primera se prikaže:
- Zamrznjen kontekst pogovora in predvajljivi zvočni odseki klicatelja.
- Izvorni klic in izvirni odgovor.
- Referenčno pričakovano vedenje, sprejeti govorjeni odgovor in klici orodij.
- Najnovejše ponovno predvajanje ob izvirnem in pričakovanem vedenju.
- Najnovejša razsodba in pojasnila ocenjevalnika, kadar so na voljo.
Za spremembo pričakovanega ali sprejetega odgovora izberite Uredi referenčno pravilno stanje. Za preizkus samo tega primera brez začetka celotnega zagona izberite Ponovno predvajaj glede na osnutek. Ponovna predvajanja uporabljajo trenutni osnutek agenta, ne nujno njegove uvedene konfiguracije.
Zaženite validacijski nabor
Na zavihku Validacija agenta zaženite postopek za vse aktivne primere. Vsak primer prejme eno od teh razsodb:
- Uspešno — odgovor izpolnjuje pričakovano vedenje in upošteva zvok klicatelja.
- Opozorilo — odgovor je uporaben, vendar je eno preverjanje zaznalo negotovost.
- Neuspešno — odgovor je v nasprotju z zvokom ali ne izpolnjuje zahtevanega vedenja.
- Preskočeno — zahtevanega zvoka klicatelja ni bilo mogoče naložiti; primer je izključen iz imenovalca stopnje uspešnosti.
- Napaka — ponovnega predvajanja ali ocenjevanja ni bilo mogoče dokončati.
Povzetek zagona prikazuje število uspešnih primerov, opozoril, neuspehov in preskočenih primerov, stopnjo uspešnosti, ocenjeni strošek ter morebitno regresijo iz uspešnega v neuspešno stanje od prejšnjega dokončanega zagona. Hkrati je lahko aktiven samo en validacijski zagon na agenta.
Uvedite z dokazi validacije
Ko ima agent primere validacije, pogovorno okno za uvedbo prikaže, ali se najnovejši dokončani zagon ujema s trenutnim osnutkom. Lahko:
- Uvedete s prikazano stopnjo uspešnosti in številom regresij.
- Najprej zaženete validacijo, če ni ustreznega zagona.
- Namerno uvedete kljub temu, ko je rezultat pregledan.
Validacija je dokaz in preverjanje pred uvedbo, ne samodejna razdelitev prometa v produkciji. Za primerjave v živo uporabite Eksperimente (A/B-testiranje).
Avtomatizacija API-ja
API za nabore validacije zajema promoviranje potez, upravljanje primerov, pretakanje pripetega zvoka, posamezna ponavljanja, paketne zagone, rezultate zagonov, stanje ob uvedbi in pregled organizacije.