Open in
Validavimo rinkiniai: prieš diegimą pakartokite tikrų skambučių pokalbio eigas
Paverskite tikrus ThunderPhone skambučių momentus pakartotinai naudojamais validavimo pavyzdžiais, peržiūrėkite numatomą elgseną, pakartokite juos su agento juodraščiu ir aptikite regresijas prieš diegdami.
Vienas validavimo pavyzdys užfiksuoja vieną agento repliką iš tikro skambučio: iki jos vykusį pokalbį, susijusį skambinančiojo garso įrašą, ką agentas iš tikrųjų atliko ir etaloną, ką jis turėtų atlikti. Rinkinio atkūrimas naudojant dabartinį juodraštį padeda aptikti regresijas nevykdant dar vieno skambučio.
Naudokite visos organizacijos puslapį Validavimo rinkiniai
(/dashboard/validation) duomenų rinkiniui kurti ir peržiūrėti. Naudokite
atskiro agento skirtuką Validavimas, kad paleistumėte rinkinį ir peržiūrėtumėte vykdymų istoriją.
Pridėkite pavyzdžių iš skambučių istorijos
- Pasirinkite „Pridėti pavyzdžių“
Pasirinkite agentą, kurio elgseną turėtų tikrinti pavyzdys. Darbo srityje rodoma iki 25 naujausių ne simuliacijos to agento skambučių.
- Pasirinkite skambutį ir agento repliką
Perskaitykite transkriptą, užveskite žymeklį ant agento replikos, kurią norite išsaugoti, ir pasirinkite kontrolinio sąrašo veiksmą. Pokalbis iki tos replikos ir susiję skambinančiojo garso segmentai nukopijuojami į validavimo duomenų rinkinį.
- Peržiūrėkite lūkestį
ThunderPhone parengia teisingos elgsenos aprašą. Redaguokite jį, kad jis būtų konkretus ir patikrinamas, o prireikus redaguokite patvirtintą pavyzdžio atsakymą ir numatomus įrankių iškvietimus.
- Išsaugokite arba aktyvinkite
Išsaugoti juodraštį palieka pavyzdį būsenoje Reikia peržiūrėti. Išsaugoti ir aktyvinti įtraukia jį į būsimus validavimo vykdymus.
Pakartotinai perkeliant tą pačią repliką naudojamas esamas pavyzdys, o ne sukuriamos dvi kopijos.
Pavyzdžių tipai ir būsenos
Tipai nurodo, kodėl pavyzdys egzistuoja:
| Tipas | Paskirtis |
|---|---|
| Nesėkmė | Tikras atsakymas, atskleidęs elgseną, kurios norite išvengti. |
| Etaloninis | Žinomas geras atsakymas, kurį verta išsaugoti. |
| Rankinis | Rankiniu būdu atrinktas atvejis, nepriskiriamas nė vienai kategorijai. |
Būsenos valdo gyvavimo ciklą:
| Būsena | Reikšmė |
|---|---|
| Reikia peržiūrėti | Etalonas dar peržiūrimas; į vykdymus neįtraukiamas. |
| Aktyvus | Įtrauktas į validavimo vykdymus. |
| Pasenęs | Nuo pavyzdžio užfiksavimo pakeista užklausa; peržiūrėkite jo lūkestį. |
| Nesuderinamas | Pavyzdžio negalima atkurti naudojant dabartinę konfigūraciją. |
| Archyvuotas | Išsaugotas istorijai, bet neįtrauktas į vykdymus. |
Naršykite ir tobulinkite duomenų rinkinį
Filtruokite organizacijos duomenų rinkinį pagal agentą, būseną arba tipą. Pasirinkus pavyzdį rodoma:
- Užfiksuotas pokalbio kontekstas ir atkuriami skambinančiojo garso segmentai.
- Šaltinio skambutis ir pradinis atsakymas.
- Etalono lūkestis, patvirtintas sakytinis atsakymas ir įrankių iškvietimai.
- Naujausias atkūrimas šalia pradinės ir numatytos elgsenos.
- Naujausias sprendimas ir vertintojo paaiškinimai, kai jie pasiekiami.
Pasirinkite Redaguoti etaloną, kad pakeistumėte lūkestį arba patvirtintą atsakymą. Pasirinkite Atkurti naudojant juodraštį, kad patikrintumėte tik tą pavyzdį nepaleisdami viso vykdymo. Atkūrimai naudoja dabartinį agento juodraštį, nebūtinai jo įdiegtą konfigūraciją.
Paleiskite validavimo rinkinį
Agento skirtuke Validavimas paleiskite vykdymą su kiekvienu aktyviu pavyzdžiu. Kiekvienas pavyzdys gauna vieną iš šių sprendimų:
- Sėkmė — atsakymas atitinka lūkestį ir skambinančiojo garso įrašą.
- Įspėjimas — atsakymas tinkamas naudoti, tačiau vienas patikrinimas nustatė neapibrėžtumą.
- Nesėkmė — jis prieštarauja garso įrašui arba neatitinka reikalaujamos elgsenos.
- Praleista — nepavyko įkelti reikiamo skambinančiojo garso įrašo; jis neįtraukiamas į sėkmės rodiklio vardiklį.
- Klaida — nepavyko užbaigti atkūrimo arba vertinimo.
Vykdymo suvestinėje pateikiami sėkmių, įspėjimų, nesėkmių ir praleistų pavyzdžių skaičiai, sėkmės rodiklis, numatomos išlaidos ir bet kokia regresija nuo sėkmės iki nesėkmės, palyginti su ankstesniu užbaigtu vykdymu. Vienu metu kiekvienam agentui gali būti aktyvus tik vienas validavimo vykdymas.
Diegimas su validavimo įrodymais
Kai agentas turi validavimo pavyzdžių, diegimo dialogo lange nurodoma, ar naujausias užbaigtas vykdymas atitinka dabartinį juodraštį. Galite:
- Diegti su rodoma sėkmės procentine dalimi ir regresijų skaičiumi.
- Pirmiausia vykdyti validavimą, jei nėra atitinkančio vykdymo.
- Sąmoningai diegti vis tiek, kai rezultatas peržiūrėtas.
Validavimas yra įrodymas ir diegimo patikra, o ne automatinis produkcinio srauto paskirstymas. Tiesioginiams palyginimams naudokite Eksperimentus (A/B testavimą).
API automatizavimas
Validation Sets API apima posūkių paaukštinimą, pavyzdžių valdymą, prisegto garso srautinį perdavimą, atskirus pakartojimus, paketinius vykdymus, vykdymų rezultatus, diegimo metu rodomą būseną ir organizacijos apžvalgą.