Seturi de validare: redați pe rând apeluri reale înainte de implementare
Transformați momente reale din apelurile ThunderPhone în exemple de validare reutilizabile, revizuiți comportamentul așteptat, redați-le pe un proiect de agent și identificați regresiile înainte de implementare.
Un exemplu de validare fixează o intervenție a agentului dintr-un apel real: conversația de dinaintea acesteia, segmentele relevante de audio ale apelantului, ce a făcut efectiv agentul și referința corectă pentru ce ar trebui să facă. Redarea unui set față de versiunea curentă identifică regresiile fără a iniția un alt apel.
Folosiți pagina Seturi de validare disponibilă la nivelul întregii organizații
(/dashboard/validation) pentru a crea și revizui setul de date. Folosiți fila Validare a unui agent individual pentru a rula setul și a inspecta istoricul rulărilor.
Adăugați exemple din istoricul apelurilor
- Alegeți Adăugați exemple
Alegeți agentul al cărui comportament trebuie validat de exemplu. Spațiul de lucru afișează până la 25 de apeluri recente, non-simulare, pentru acel agent.
- Selectați un apel și o intervenție a agentului
Citiți transcrierea, treceți cu cursorul peste intervenția agentului pe care doriți să o păstrați și selectați acțiunea de bifare. Conversația până la acea intervenție și segmentele audio ale apelantului sunt copiate în setul de date pentru validare.
- Revizuiți așteptarea
ThunderPhone creează o schiță a descrierii comportamentului corect. Editați-o astfel încât să fie specifică și testabilă și, opțional, editați răspunsul-exemplu acceptat și apelurile de instrumente așteptate.
- Salvați sau activați
Salvați schița păstrează exemplul în starea Necesită revizuire. Salvați și activați îl include în viitoarele rulări de validare.
Promovarea aceleiași intervenții de două ori reutilizează exemplul existent, în loc să creeze două copii.
Tipuri și stări de exemple
Tipurile descriu de ce există un exemplu:
| Tip | Utilizare |
|---|---|
| Eșec | Un răspuns real care a evidențiat un comportament pe care doriți să îl preveniți. |
| Etalon | Un răspuns cunoscut ca fiind corect și care merită păstrat. |
| Manual | Un caz selectat manual, care nu aparține niciuneia dintre categorii. |
Stările controlează ciclul de viață:
| Stare | Semnificație |
|---|---|
| Necesită revizuire | Referința corectă este încă în curs de revizuire; exclusă din rulări. |
| Activ | Inclusă în rulările de validare. |
| Învechit | Promptul s-a modificat de când exemplul a fost fixat; revizuiți-i așteptarea. |
| Incompatibil | Exemplul nu poate fi redat cu configurația curentă. |
| Arhivat | Păstrat pentru istoric, dar exclus din rulări. |
Răsfoiți și rafinați setul de date
Filtrați setul de date al organizației după agent, stare sau tip. Selectarea unui exemplu afișează:
- Contextul conversației fixate și segmente audio ale apelantului care pot fi redate.
- Apelul sursă și răspunsul original.
- Așteptarea bazată pe referința corectă, răspunsul verbal acceptat și apelurile de instrumente.
- Cea mai recentă redare, alături de comportamentul original și cel așteptat.
- Cel mai recent verdict și explicațiile evaluatorului, când sunt disponibile.
Alegeți Editați referința corectă pentru a revizui așteptarea sau răspunsul acceptat. Alegeți Redați față de schiță pentru a testa numai acel exemplu fără a începe o rulare completă. Redările folosesc schița curentă a agentului, nu neapărat configurația sa implementată.
Rulați un set de validare
Din fila Validare a agentului, începeți o rulare pentru fiecare exemplu activ. Fiecare exemplu primește unul dintre aceste verdicte:
- Trecut — răspunsul îndeplinește așteptarea și corespunde audio-ului apelantului.
- Avertisment — răspunsul poate fi utilizat, dar o verificare a identificat incertitudine.
- Eșuat — contrazice audio-ul sau omite comportamentul necesar.
- Omis — audio-ul necesar al apelantului nu a putut fi încărcat; este exclus din numitorul ratei de trecere.
- Eroare — redarea sau evaluarea nu a putut fi finalizată.
Rezumatul rulării raportează numărul de treceri, avertismente, eșecuri și exemple omise, rata de trecere, costul estimat și orice regresie de la trecut la eșuat de la rularea finalizată precedentă. O singură rulare de validare per agent poate fi activă simultan.
Implementați cu dovezi de validare
Când un agent are exemple de validare, dialogul de implementare raportează dacă ultima rulare finalizată corespunde schiței curente. Puteți:
- Implementa cu rata de reușită și numărul de regresii afișate.
- Rula mai întâi validarea dacă nu există o rulare corespunzătoare.
- Implementa intenționat oricum atunci când rezultatul a fost revizuit.
Validarea este o dovadă și o verificare pentru implementare, nu o împărțire automată a traficului de producție. Pentru comparații live, utilizați Experimente (testare A/B).
Automatizare API
API-ul Seturi de validare acoperă promovarea tururilor, gestionarea exemplelor, transmiterea audio fixat, reluările individuale, rulările în lot, rezultatele rulărilor, starea la implementare și prezentarea generală a organizației.