Valideringssett: spill av ekte samtaleomganger før utrulling
Gjør ekte samtaleøyeblikk fra ThunderPhone om til gjenbrukbare valideringseksempler, gjennomgå forventet atferd, spill dem av mot et agentutkast og fang opp regresjoner før utrulling.
Et valideringseksempel fryser én agenttur fra en reell samtale: samtalen som ledet opp til den, relevant innringerlyd, hva agenten faktisk gjorde, og fasiten for hva den skulle gjort. Å spille av et sett på nytt mot gjeldende utkast fanger opp regresjoner uten å foreta enda en samtale.
Bruk den organisasjonsomfattende siden Valideringssett
(/dashboard/validation) til å bygge og gjennomgå datasettet. Bruk den
enkelte agentens Validering-fane til å kjøre settet og undersøke
kjøringshistorikken.
Legg til eksempler fra samtalehistorikken
- Velg Legg til eksempler
Velg agenten hvis atferd eksempelet skal validere. Arbeidsområdet viser opptil 25 nylige samtaler uten simulering for den agenten.
- Velg en samtale og en agenttur
Les transkripsjonen, hold pekeren over agentturen du vil bevare, og velg avkryssingshandlingen. Samtalen frem til den turen og tilhørende innringerlydsegmenter kopieres inn i valideringsdatasettet.
- Gjennomgå forventningen
ThunderPhone utarbeider en beskrivelse av korrekt atferd. Rediger den slik at den er spesifikk og testbar, og rediger eventuelt det godkjente eksempelsvaret og forventede verktøykall.
- Lagre eller aktiver
Lagre utkast lar eksempelet stå i Trenger gjennomgang. Lagre og aktiver tar det med i fremtidige valideringskjøringer.
Hvis du fremmer samme tur to ganger, gjenbrukes det eksisterende eksempelet i stedet for at det opprettes to kopier.
Eksempeltyper og statuser
Typene beskriver hvorfor et eksempel finnes:
| Type | Bruk |
|---|---|
| Svikt | En reell respons som avdekket atferd du vil forhindre. |
| Referanse | En kjent god respons som er verdt å bevare. |
| Manuell | Et manuelt kuratert tilfelle som ikke er noen av kategoriene. |
Statuser styrer livssyklusen:
| Status | Betydning |
|---|---|
| Trenger gjennomgang | Fasiten gjennomgås fortsatt; ekskludert fra kjøringer. |
| Aktiv | Inkludert i valideringskjøringer. |
| Utdatert | Prompten er endret siden eksempelet ble frosset; gjennomgå forventningen. |
| Ikke kompatibel | Eksempelet kan ikke spilles av på nytt med gjeldende konfigurasjon. |
| Arkivert | Bevares for historikken, men er ekskludert fra kjøringer. |
Bla gjennom og forbedre datasettet
Filtrer organisasjonens datasett etter agent, status eller type. Når du velger et eksempel, vises:
- Frosset samtalekontekst og avspillbare innringerlydsegmenter.
- Kildesamtalen og den opprinnelige responsen.
- Fasitforventning, godkjent muntlig respons og verktøykall.
- Den siste avspillingen på nytt ved siden av opprinnelig og forventet atferd.
- Den siste vurderingen og forklaringer fra bedømmeren, når de er tilgjengelige.
Velg Rediger fasit for å endre forventningen eller den godkjente responsen. Velg Spill av på nytt mot utkast for å teste bare det eksempelet uten å starte en full kjøring. Avspillinger på nytt bruker agentens gjeldende utkast, ikke nødvendigvis den distribuerte konfigurasjonen.
Kjør et valideringssett
Start en kjøring over alle aktive eksempler fra agentens Validering-fane. Hvert eksempel får én av disse vurderingene:
- Bestått — responsen oppfyller forventningen og samsvarer med innringerlyden.
- Advarsel — responsen kan brukes, men én kontroll fant usikkerhet.
- Ikke bestått — den motsier lyden eller mangler påkrevd atferd.
- Hoppet over — nødvendig innringerlyd kunne ikke lastes inn; den er ekskludert fra nevneren for beståttprosenten.
- Feil — avspilling på nytt eller vurdering kunne ikke fullføres.
Kjøringssammendraget viser antall beståtte, advarsler, feil og hoppet over, beståttprosenten, estimert kostnad og eventuelle regresjoner fra bestått til ikke bestått siden forrige fullførte kjøring. Bare én valideringskjøring per agent kan være aktiv om gangen.
Distribuer med valideringsgrunnlag
Når en stemmeagent har valideringseksempler, viser distribusjonsdialogen om den siste fullførte kjøringen samsvarer med gjeldende utkast. Du kan:
- Distribuere med den viste beståttprosenten og antallet regresjoner.
- Kjøre validering først hvis det ikke finnes noen samsvarende kjøring.
- Bevisst distribuere likevel når resultatet er gjennomgått.
Validering er grunnlag og en kontroll før distribusjon, ikke en automatisk fordeling av produksjonstrafikk. For sammenligninger i sanntid, bruk Eksperimenter (A/B-testing).
API-automatisering
API-et for valideringssett dekker promotering av samtaleomganger, administrasjon av eksempler, strømming av festet lyd, enkeltreplay, batchkjøringer, kjøringsresultater, status ved distribusjon og organisasjonsoversikten.