Set di convalida: riproduci turni di chiamate reali prima della distribuzione
Trasforma momenti di chiamate reali di ThunderPhone in esempi di convalida riutilizzabili, verifica il comportamento previsto, riproducili su una bozza dell
Un esempio di validazione fissa un turno dell'agente da una chiamata reale: la conversazione che lo precede, l'audio pertinente del chiamante, ciò che l'agente ha effettivamente fatto e il riferimento per ciò che dovrebbe fare. Riprodurre un set rispetto alla bozza corrente individua regressioni senza effettuare un'altra chiamata.
Usa la pagina Set di validazione a livello di organizzazione
(/dashboard/validation) per creare e rivedere il set di dati. Usa la scheda
Validazione di un singolo agente per eseguire il set e ispezionare la cronologia delle esecuzioni.
Aggiungi esempi dalla cronologia delle chiamate
- Scegli Aggiungi esempi
Seleziona l'agente di cui l'esempio deve convalidare il comportamento. L'area di lavoro mostra fino a 25 chiamate recenti non simulate per quell'agente.
- Seleziona una chiamata e un turno dell'agente
Leggi la trascrizione, passa il cursore sul turno dell'agente che vuoi conservare e seleziona l'azione della checklist. La conversazione fino a quel turno e i relativi segmenti audio del chiamante vengono copiati nel set di dati di validazione.
- Rivedi l'aspettativa
ThunderPhone prepara una descrizione del comportamento corretto. Modificala affinché sia specifica e verificabile e, facoltativamente, modifica la risposta esempio accettata e le chiamate agli strumenti previste.
- Salva o attiva
Salva bozza lascia l'esempio in stato Da rivedere. Salva e attiva lo include nelle future esecuzioni di validazione.
Promuovere lo stesso turno due volte riutilizza l'esempio esistente anziché creare due copie.
Tipi e stati degli esempi
I tipi descrivono il motivo per cui esiste un esempio:
| Tipo | Utilizzo |
|---|---|
| Errore | Una risposta reale che ha evidenziato un comportamento che vuoi evitare. |
| Golden | Una risposta sicuramente corretta che vale la pena conservare. |
| Manuale | Un caso selezionato manualmente che non rientra in nessuna delle due categorie. |
Gli stati controllano il ciclo di vita:
| Stato | Significato |
|---|---|
| Da rivedere | Il riferimento è ancora in revisione; escluso dalle esecuzioni. |
| Attivo | Incluso nelle esecuzioni di validazione. |
| Obsoleto | Il prompt è cambiato da quando l'esempio è stato fissato; rivedi la sua aspettativa. |
| Incompatibile | L'esempio non può essere riprodotto con la configurazione corrente. |
| Archiviato | Conservato per la cronologia ma escluso dalle esecuzioni. |
Esplora e perfeziona il set di dati
Filtra il set di dati dell'organizzazione per agente, stato o tipo. Selezionando un esempio vengono mostrati:
- Il contesto della conversazione fissata e i segmenti audio riproducibili del chiamante.
- La chiamata di origine e la risposta originale.
- L'aspettativa di riferimento, la risposta parlata accettata e le chiamate agli strumenti.
- L'ultimo replay accanto al comportamento originale e a quello atteso.
- L'ultimo verdetto e le spiegazioni del giudice, quando disponibili.
Scegli Modifica riferimento per rivedere l'aspettativa o la risposta accettata. Scegli Riproduci rispetto alla bozza per testare solo quell'esempio senza avviare un'esecuzione completa. I replay usano la bozza corrente dell'agente, non necessariamente la sua configurazione distribuita.
Esegui un set di validazione
Dalla scheda Validazione dell'agente, avvia un'esecuzione su ogni esempio attivo. Ogni esempio riceve uno di questi verdetti:
- Superato — la risposta soddisfa l'aspettativa ed è coerente con l'audio del chiamante.
- Avviso — la risposta è utilizzabile, ma un controllo ha rilevato incertezza.
- Fallito — contraddice l'audio o non rispetta un comportamento richiesto.
- Saltato — non è stato possibile caricare l'audio richiesto del chiamante; è escluso dal denominatore della percentuale di superamento.
- Errore — il replay o la valutazione non è stato completato.
Il riepilogo dell'esecuzione riporta i conteggi di superamenti, avvisi, fallimenti e casi saltati, la percentuale di superamento, il costo stimato ed eventuali regressioni da superato a fallito rispetto alla precedente esecuzione completata. Può essere attiva una sola esecuzione di validazione per agente alla volta.
Distribuisci con evidenze di convalida
Quando un agente dispone di esempi di convalida, la finestra di dialogo di distribuzione indica se l'ultima esecuzione completata corrisponde alla bozza corrente. Puoi:
- Distribuire con la percentuale di superamento e il numero di regressioni visualizzati.
- Eseguire prima la convalida se non esiste un'esecuzione corrispondente.
- Distribuire comunque intenzionalmente dopo aver esaminato il risultato.
La convalida è un'evidenza e un controllo di distribuzione, non una suddivisione automatica del traffico di produzione. Per confronti in tempo reale, usa gli Esperimenti (test A/B).
Automazione API
L'API dei set di convalida copre la promozione dei turni, la gestione degli esempi, lo streaming dell'audio fissato, i replay individuali, le esecuzioni batch, i risultati delle esecuzioni, lo stato al momento della distribuzione e la panoramica dell'organizzazione.