Valideringssæt: afspil rigtige opkaldsture igen før implementering
Gør rigtige opkaldsøjeblikke fra ThunderPhone til genanvendelige valideringseksempler, gennemgå forventet adfærd, afspil dem igen mod et agentudkast, og fang regressioner før implementering.
Et valideringseksempel fastfryser én agenttur fra et rigtigt opkald: samtalen op til den, den relevante opkaldslyd, hvad agenten faktisk gjorde, og facit for, hvad den burde gøre. Afspilning af et sæt mod det aktuelle udkast fanger regressioner uden at foretage endnu et opkald.
Brug den organisationsdækkende side Valideringssæt
(/dashboard/validation) til at opbygge og gennemgå datasættet. Brug den enkelte
agents fane Validering til at køre sættet og gennemgå kørselsoversigten.
Tilføj eksempler fra opkaldshistorikken
- Vælg Tilføj eksempler
Vælg den agent, hvis adfærd eksemplet skal validere. Arbejdsområdet viser op til 25 seneste opkald, der ikke er simuleringer, for den agent.
- Vælg et opkald og en agenttur
Læs transskriptionen, hold markøren over den agenttur, du vil bevare, og vælg handlingen med afkrydsningslisten. Samtalen frem til den tur og dens opkaldslydsegmenter kopieres til valideringsdatasættet.
- Gennemgå forventningen
ThunderPhone udarbejder et udkast til en beskrivelse af korrekt adfærd. Rediger den, så den er specifik og testbar, og rediger eventuelt det accepterede eksempel på svar og de forventede værktøjskald.
- Gem eller aktivér
Gem kladde efterlader eksemplet i Kræver gennemgang. Gem og aktivér inkluderer det i fremtidige valideringskørsler.
Hvis du promoverer den samme tur to gange, genbruges det eksisterende eksempel i stedet for at oprette to kopier.
Eksempeltyper og statusser
Typer beskriver, hvorfor et eksempel findes:
| Type | Anvendelse |
|---|---|
| Fejl | Et rigtigt svar, der afslørede adfærd, du vil forhindre. |
| Gylden | Et kendt godt svar, der er værd at bevare. |
| Manuel | Et manuelt kurateret tilfælde, der ikke tilhører nogen af kategorierne. |
Statusser styrer livscyklussen:
| Status | Betydning |
|---|---|
| Kræver gennemgang | Facit gennemgås stadig; udelukkes fra kørsler. |
| Aktiv | Inkluderet i valideringskørsler. |
| Forældet | Prompten er ændret, siden eksemplet blev fastfrosset; gennemgå forventningen. |
| Inkompatibel | Eksemplet kan ikke afspilles med den aktuelle konfiguration. |
| Arkiveret | Bevaret til historik, men udelukket fra kørsler. |
Gennemse og forfin datasættet
Filtrer organisationsdatasættet efter agent, status eller type. Når du vælger et eksempel, vises:
- Fastfrosset samtalekontekst og afspillelige segmenter af opkaldslyd.
- Kildeopkaldet og det oprindelige svar.
- Facitforventning, accepteret talt svar og værktøjskald.
- Den seneste afspilning ved siden af den oprindelige og forventede adfærd.
- Den seneste afgørelse og vurderingsforklaringer, når de er tilgængelige.
Vælg Rediger facit for at ændre forventningen eller det accepterede svar. Vælg Afspil mod kladde for kun at teste det eksempel uden at starte en fuld kørsel. Afspilninger bruger agentens aktuelle kladde, ikke nødvendigvis dens udrullede konfiguration.
Kør et valideringssæt
Start en kørsel over hvert aktivt eksempel fra agentens fane Validering. Hvert eksempel får en af disse afgørelser:
- Bestået — svaret opfylder forventningen og opkaldslyden.
- Advarsel — svaret kan bruges, men én kontrol fandt usikkerhed.
- Ikke bestået — det modsiger lyden eller mangler påkrævet adfærd.
- Sprunget over — påkrævet opkaldslyd kunne ikke indlæses; det udelukkes fra nævneren for beståelsesraten.
- Fejl — afspilning eller bedømmelse kunne ikke gennemføres.
Kørselsoversigten rapporterer antal beståede, advarsler, fejl og oversprungne, beståelsesraten, estimerede omkostninger og eventuelle regressioner fra bestået til ikke bestået siden den foregående afsluttede kørsel. Kun én valideringskørsel pr. agent kan være aktiv ad gangen.
Udrul med valideringsdokumentation
Når en agent har valideringseksempler, viser udrulningsdialogen, om den seneste fuldførte kørsel matcher det aktuelle udkast. Du kan:
- Udrulle med den viste beståelsesrate og antallet af regressioner.
- Køre validering først, hvis der ikke findes en matchende kørsel.
- Bevidst udrulle alligevel, når resultatet er blevet gennemgået.
Validering er dokumentation og en kontrol før udrulning, ikke en automatisk fordeling af produktionstrafik. Brug Eksperimenter (A/B-test) til sammenligninger i drift.
API-automatisering
Validation Sets API omfatter promovering af samtaledrejninger, administration af eksempler, streaming af fastgjort lyd, enkeltvise afspilninger, batchkørsler, kørselsresultater, status ved udrulning og organisationsoversigten.