Valideringsuppsättningar: spela upp verkliga samtalsvändor före driftsättning
Gör verkliga samtalsögonblick från ThunderPhone till återanvändbara valideringsexempel, granska förväntat beteende, spela upp dem mot ett agentutkast och fånga regressioner före driftsättning.
Ett valideringsexempel låser en samtalstur från agenten från ett verkligt samtal: konversationen som leder fram till den, relevant ljud från uppringaren, vad agenten faktiskt gjorde och facit för vad den ska göra. Genom att spela upp en uppsättning mot det aktuella utkastet kan du upptäcka regressioner utan att ringa ytterligare ett samtal.
Använd den organisationsomfattande sidan Valideringsuppsättningar
(/dashboard/validation) för att skapa och granska datasetet. Använd en enskild
agents flik Validering för att köra uppsättningen och granska körhistoriken.
Lägg till exempel från samtalshistoriken
- Välj Lägg till exempel
Välj den agent vars beteende exemplet ska validera. Arbetsytan visar upp till 25 senaste samtal utan simulering för den agenten.
- Välj ett samtal och en samtalstur från agenten
Läs transkriptionen, håll muspekaren över den samtalstur från agenten som du vill bevara och välj åtgärden med checklistan. Konversationen fram till den turen och dess ljudavsnitt från uppringaren kopieras till valideringsdatasetet.
- Granska förväntningen
ThunderPhone skapar ett utkast till en beskrivning av korrekt beteende. Redigera den så att den är specifik och testbar, och redigera vid behov det godtagna exempelsvaret och förväntade verktygsanrop.
- Spara eller aktivera
Spara utkast lämnar exemplet i Behöver granskas. Spara och aktivera inkluderar det i framtida valideringskörningar.
Om du lägger till samma tur två gånger återanvänds det befintliga exemplet i stället för att två kopior skapas.
Exempeltyper och statusar
Typer beskriver varför ett exempel finns:
| Typ | Användning |
|---|---|
| Fel | Ett verkligt svar som visade ett beteende du vill förhindra. |
| Golden | Ett känt bra svar som är värt att bevara. |
| Manuell | Ett manuellt sammanställt fall som inte tillhör någon av kategorierna. |
Statusar styr livscykeln:
| Status | Betydelse |
|---|---|
| Behöver granskas | Facit granskas fortfarande; exkluderas från körningar. |
| Aktiv | Inkluderas i valideringskörningar. |
| Inaktuell | Prompten har ändrats sedan exemplet låstes; granska dess förväntning. |
| Inkompatibel | Exemplet kan inte spelas upp med den aktuella konfigurationen. |
| Arkiverad | Bevaras för historiken men exkluderas från körningar. |
Bläddra i och förfina datasetet
Filtrera organisationens dataset efter agent, status eller typ. När du väljer ett exempel visas:
- Låst konversationskontext och spelbara ljudavsnitt från uppringaren.
- Källsamtalet och det ursprungliga svaret.
- Facitförväntning, godtaget talat svar och verktygsanrop.
- Den senaste uppspelningen bredvid det ursprungliga och förväntade beteendet.
- Den senaste bedömningen och bedömarförklaringar, när de är tillgängliga.
Välj Redigera facit för att ändra förväntningen eller det godtagna svaret. Välj Spela upp mot utkastet för att testa endast det exemplet utan att starta en fullständig körning. Uppspelningar använder agentens aktuella utkast, inte nödvändigtvis dess driftsatta konfiguration.
Kör en valideringsuppsättning
Från agentens flik Validering startar du en körning för varje aktivt exempel. Varje exempel får en av följande bedömningar:
- Godkänd — svaret uppfyller förväntningen och ljudet från uppringaren.
- Varning — svaret går att använda, men en kontroll upptäckte osäkerhet.
- Underkänd — det motsäger ljudet eller saknar ett obligatoriskt beteende.
- Överhoppad — obligatoriskt ljud från uppringaren kunde inte läsas in; det exkluderas från nämnaren för godkännandegraden.
- Fel — uppspelning eller bedömning kunde inte slutföras.
Körningssammanfattningen visar antal godkända, varningar, underkända och överhoppade, godkännandegraden, uppskattad kostnad och eventuell regression från godkänd till underkänd sedan föregående slutförda körning. Endast en valideringskörning per agent kan vara aktiv åt gången.
Distribuera med valideringsunderlag
När en agent har valideringsexempel visar distributionsdialogen om den senaste slutförda körningen matchar det aktuella utkastet. Du kan:
- Distribuera med den visade godkännandegraden och antalet regressioner.
- Köra validering först om ingen matchande körning finns.
- Medvetet distribuera ändå när resultatet har granskats.
Validering är underlag och en distributionskontroll, inte en automatisk uppdelning av produktionstrafik. Använd Experiment (A/B-testning) för livejämförelser.
API-automatisering
API:t för valideringsuppsättningar omfattar marknadsföring av turer, hantering av exempel, strömning av fäst ljud, enskilda uppspelningar, batchkörningar, körningsresultat, status vid distribution och organisationsöversikten.