Validācijas kopas: pirms izvietošanas atkārtojiet reālu zvanu sarunu posmus
Pārvērtiet reālus ThunderPhone zvanu brīžus atkārtoti izmantojamos validācijas piemēros, pārskatiet sagaidāmo darbību, atkārtojiet tos ar balss aģenta melnrakstu un atklājiet regresijas pirms izvietošanas.
validācijas piemērs fiksē vienu balss aģenta gājienu no īsta zvana: sarunu līdz tam, attiecīgo zvanītāja audio, balss aģenta faktisko rīcību un pamatpatiesību par to, kā tam būtu jārīkojas. Kopas atkārtota atskaņošana pret pašreizējo melnrakstu atklāj regresijas, neveicot vēl vienu zvanu.
Izmantojiet visas organizācijas lapu Validācijas kopas
(/dashboard/validation), lai veidotu un pārskatītu datu kopu. Izmantojiet
atsevišķa balss aģenta cilni Validācija, lai palaistu kopu un pārbaudītu
palaišanas vēsturi.
Pievienojiet piemērus no zvanu vēstures
- Izvēlieties Pievienot piemērus
Izvēlieties balss aģentu, kura darbību piemēram vajadzētu validēt. Darbvieta parāda līdz 25 neseniem šī balss aģenta zvaniem, kas nav simulācijas.
- Atlasiet zvanu un balss aģenta gājienu
Izlasiet transkriptu, novietojiet kursoru virs balss aģenta gājiena, kuru vēlaties saglabāt, un atlasiet kontrolsaraksta darbību. Saruna līdz šim gājienam un tā zvanītāja audio segmenti tiek kopēti validācijas datu kopā.
- Pārskatiet gaidāmo rezultātu
ThunderPhone izveido pareizās darbības apraksta melnrakstu. Rediģējiet to, lai tas būtu konkrēts un pārbaudāms, un pēc izvēles rediģējiet pieņemto piemēra atbildi un gaidītos rīku izsaukumus.
- Saglabājiet vai aktivizējiet
Saglabāt melnrakstu atstāj piemēru statusā Nepieciešama pārskatīšana. Saglabāt un aktivizēt iekļauj to turpmākajās validācijas palaišanās reizēs.
Pievienojot vienu un to pašu gājienu divreiz, tiek atkārtoti izmantots esošais piemērs, nevis izveidotas divas kopijas.
Piemēru veidi un statusi
Veidi raksturo, kāpēc piemērs pastāv:
| Veids | Lietojums |
|---|---|
| Kļūme | Reāla atbilde, kas atklāja darbību, kuru vēlaties novērst. |
| Etalons | Zināmi laba atbilde, kuru ir vērts saglabāt. |
| Manuāls | Manuāli atlasīts gadījums, kas nepieder nevienai no kategorijām. |
Statusi nosaka dzīves ciklu:
| Statuss | Nozīme |
|---|---|
| Nepieciešama pārskatīšana | Pamatpatiesība vēl tiek pārskatīta; no palaišanas reizēm izslēgta. |
| Aktīvs | Iekļauts validācijas palaišanās reizēs. |
| Novecojis | Kopš piemēra fiksēšanas uzvedne ir mainīta; pārskatiet tā gaidāmo rezultātu. |
| Nesaderīgs | Piemēru nevar atkārtoti atskaņot ar pašreizējo konfigurāciju. |
| Arhivēts | Saglabāts vēsturei, bet izslēgts no palaišanas reizēm. |
Pārlūkojiet un pilnveidojiet datu kopu
Filtrējiet organizācijas datu kopu pēc balss aģenta, statusa vai veida. Atlasot piemēru, tiek parādīts:
- Fiksēts sarunas konteksts un atskaņojami zvanītāja audio segmenti.
- Avota zvans un sākotnējā atbilde.
- Pamatpatiesības gaidāmais rezultāts, pieņemtā mutiskā atbilde un rīku izsaukumi.
- Jaunākā atkārtotā atskaņošana līdzās sākotnējai un gaidāmajai darbībai.
- Jaunākais spriedums un vērtētāja skaidrojumi, ja tie ir pieejami.
Izvēlieties Rediģēt pamatpatiesību, lai pārskatītu gaidāmo rezultātu vai pieņemto atbildi. Izvēlieties Atkārtoti atskaņot pret melnrakstu, lai pārbaudītu tikai šo piemēru, nesākot pilnu palaišanu. Atkārtotajās atskaņošanās tiek izmantots balss aģenta pašreizējais melnraksts, ne vienmēr tā izvietotā konfigurācija.
Palaidiet validācijas kopu
Balss aģenta cilnē Validācija sāciet palaišanu visiem aktīvajiem piemēriem. Katrs piemērs saņem vienu no šiem spriedumiem:
- Izdevās — atbilde atbilst gaidāmajam rezultātam un zvanītāja audio.
- Brīdinājums — atbilde ir lietojama, bet viena pārbaude atklāja nenoteiktību.
- Neizdevās — tā ir pretrunā ar audio vai neietver nepieciešamo darbību.
- Izlaists — nepieciešamo zvanītāja audio nevarēja ielādēt; tas ir izslēgts no izdošanās rādītāja saucēja.
- Kļūda — atkārtoto atskaņošanu vai vērtēšanu nevarēja pabeigt.
Palaišanas kopsavilkumā tiek norādīts veiksmīgo, brīdinājumu, neveiksmīgo un izlaisto piemēru skaits, izdošanās rādītājs, aplēstās izmaksas un jebkura regresija no veiksmīga līdz neveiksmīgam rezultātam kopš iepriekšējās pabeigtās palaišanas. Vienlaikus katram balss aģentam var būt aktīva tikai viena validācijas palaišana.
Izvietošana ar validācijas pierādījumiem
Ja balss aģentam ir validācijas piemēri, izvietošanas dialoglodziņā tiek norādīts, vai jaunākais pabeigtais izpildījums atbilst pašreizējam melnrakstam. Jūs varat:
- Izvietot ar parādīto sekmības rādītāju un regresiju skaitu.
- Vispirms palaist validāciju, ja nav atbilstoša izpildījuma.
- Apzināti izvietot jebkurā gadījumā, ja rezultāts ir pārskatīts.
Validācija ir pierādījums un izvietošanas pārbaude, nevis automātiska ražošanas datplūsmas sadale. Tiešiem salīdzinājumiem izmantojiet Eksperimentus (A/B testēšanu).
API automatizācija
Validation Sets API aptver sarunu gājienu paaugstināšanu, piemēru pārvaldību, piesprausta audio straumēšanu, atsevišķas atkārtotas atskaņošanas, pakešizpildījumus, izpildījumu rezultātus, izvietošanas brīža statusu un organizācijas pārskatu.