Skupovi za provjeru valjanosti: ponovno reproducirajte stvarne dijelove poziva prije implementacije
Primjer validacije zamrzava jedan potez agenta iz stvarnog poziva: razgovor koji mu prethodi, relevantni zvuk pozivatelja, ono što je agent zapravo učinio i referentnu istinu o tome što bi trebao učiniti. Ponovno pokretanje skupa na trenutačnom nacrtu otkriva regresije bez upućivanja novog poziva.
Za izradu i pregled skupa podataka upotrijebite stranicu Skupovi za validaciju
za cijelu organizaciju (/dashboard/validation). Upotrijebite karticu Validacija
pojedinačnog agenta za pokretanje skupa i pregled povijesti pokretanja.
Dodajte primjere iz povijesti poziva
- Odaberite Dodaj primjere
Odaberite agenta čije ponašanje primjer treba validirati. Radni prostor prikazuje do 25 nedavnih poziva koji nisu simulacije za tog agenta.
- Odaberite poziv i potez agenta
Pročitajte prijepis, zadržite pokazivač iznad poteza agenta koji želite sačuvati i odaberite radnju na kontrolnom popisu. Razgovor do tog poteza i povezani zvučni isječci pozivatelja kopiraju se u skup podataka za validaciju.
- Pregledajte očekivanje
ThunderPhone sastavlja nacrt opisa ispravnog ponašanja. Uredite ga tako da bude konkretan i provjerljiv te prema potrebi uredite prihvaćeni primjer odgovora i očekivane pozive alata.
- Spremite ili aktivirajte
Spremite nacrt ostavlja primjer u statusu Potrebno je pregledati. Spremite i aktivirajte uključuje ga u buduća pokretanja validacije.
Ponovnim promicanjem istog poteza ponovno se koristi postojeći primjer umjesto stvaranja dviju kopija.
Vrste i statusi primjera
Vrste opisuju zašto primjer postoji:
| Vrsta | Namjena |
|---|---|
| Neuspjeh | Stvarni odgovor koji je otkrio ponašanje koje želite spriječiti. |
| Zlatni primjer | Provjereno dobar odgovor koji vrijedi sačuvati. |
| Ručno | Ručno odabran slučaj koji ne pripada nijednoj od navedenih kategorija. |
Statusi upravljaju životnim ciklusom:
| Status | Značenje |
|---|---|
| Potrebno je pregledati | Referentna istina još se pregledava; primjer je isključen iz pokretanja. |
| Aktivno | Uključeno u pokretanja validacije. |
| Zastarjelo | Upit se promijenio nakon zamrzavanja primjera; pregledajte njegovo očekivanje. |
| Nekompatibilno | Primjer se ne može ponovno pokrenuti s trenutačnom konfiguracijom. |
| Arhivirano | Sačuvano za povijest, ali isključeno iz pokretanja. |
Pregledajte i doradite skup podataka
Filtrirajte skup podataka organizacije prema agentu, statusu ili vrsti. Odabirom primjera prikazuje se:
- Zamrznuti kontekst razgovora i zvučni isječci pozivatelja koji se mogu reproducirati.
- Izvorni poziv i izvorni odgovor.
- Očekivanje referentne istine, prihvaćeni izgovoreni odgovor i pozivi alata.
- Najnovije ponovno pokretanje uz izvorno i očekivano ponašanje.
- Najnovija presuda i obrazloženja procjenjivača, kada su dostupni.
Odaberite Uredite referentnu istinu za izmjenu očekivanja ili prihvaćenog odgovora. Odaberite Ponovite s nacrtom za testiranje samo tog primjera bez pokretanja cijelog izvršavanja. Ponovna pokretanja upotrebljavaju trenutačni nacrt agenta, a ne nužno njegovu implementiranu konfiguraciju.
Pokrenite skup za validaciju
Na kartici Validacija agenta pokrenite izvršavanje za svaki aktivni primjer. Svaki primjer dobiva jednu od ovih presuda:
- Prolaz — odgovor zadovoljava očekivanje i zvuk pozivatelja.
- Upozorenje — odgovor je upotrebljiv, ali jedna je provjera otkrila nesigurnost.
- Neuspjeh — proturječi zvuku ili propušta obavezno ponašanje.
- Preskočeno — obavezni zvuk pozivatelja nije se mogao učitati; primjer je isključen iz nazivnika stope prolaznosti.
- Pogreška — ponovno pokretanje ili ocjenjivanje nije se moglo dovršiti.
Sažetak izvršavanja prikazuje broj prolaza, upozorenja, neuspjeha i preskočenih primjera, stopu prolaznosti, procijenjeni trošak i svaku regresiju s prolaza na neuspjeh od prethodnog dovršenog izvršavanja. Istodobno može biti aktivno samo jedno izvršavanje validacije po agentu.
Objavite s dokazima validacije
Kada agent ima primjere za validaciju, dijalog za objavu prikazuje odgovara li posljednje dovršeno pokretanje trenutačnom nacrtu. Možete:
- Objaviti s prikazanom stopom prolaznosti i brojem regresija.
- Najprije pokrenuti validaciju ako ne postoji odgovarajuće pokretanje.
- Namjerno objaviti bez obzira na to kada je rezultat pregledan.
Validacija je dokaz i provjera pri objavi, a ne automatska podjela produkcijskog prometa. Za usporedbe uživo upotrijebite Eksperimente (A/B testiranje).
Automatizacija putem API-ja
API za skupove za validaciju obuhvaća promicanje koraka, upravljanje primjerima, strujanje prikvačenog zvuka, pojedinačna ponavljanja, skupna pokretanja, rezultate pokretanja, status pri objavi i pregled organizacije.