Validierungssätze: Echte Gesprächswechsel vor der Bereitstellung wiedergeben
Verwandeln Sie echte ThunderPhone-Gesprächsmomente in wiederverwendbare Validierungsbeispiele, prüfen Sie das erwartete Verhalten, spielen Sie sie gegen einen Agentenentwurf ab und erkennen Sie Regressionen vor der Bereitstellung.
Ein Validierungsbeispiel friert einen Agentenzug aus einem echten Anruf ein: die vorangehende Unterhaltung, die relevanten Audioabschnitte des Anrufers, das, was der Agent tatsächlich getan hat, und die Referenzvorgabe dafür, was er tun sollte. Die erneute Ausführung eines Satzes mit dem aktuellen Entwurf erkennt Regressionen, ohne einen weiteren Anruf zu tätigen.
Verwenden Sie die organisationsweite Seite Validierungssätze
(/dashboard/validation), um den Datensatz zu erstellen und zu prüfen. Verwenden Sie den Tab
Validierung eines einzelnen Agents, um den Satz auszuführen und den Verlauf der Durchläufe zu prüfen.
Beispiele aus dem Anrufverlauf hinzufügen
- Beispiele hinzufügen auswählen
Wählen Sie den Agent aus, dessen Verhalten das Beispiel validieren soll. Der Arbeitsbereich zeigt bis zu 25 aktuelle, nicht simulierte Anrufe für diesen Agent an.
- Anruf und Agentenzug auswählen
Lesen Sie das Transkript, bewegen Sie den Mauszeiger über den Agentenzug, den Sie beibehalten möchten, und wählen Sie die Checklisten-Aktion aus. Die Unterhaltung bis zu diesem Zug und die zugehörigen Audioabschnitte des Anrufers werden in den Validierungsdatensatz kopiert.
- Erwartung prüfen
ThunderPhone erstellt einen Entwurf für eine Beschreibung des korrekten Verhaltens. Bearbeiten Sie ihn so, dass er spezifisch und testbar ist, und bearbeiten Sie optional die akzeptierte Beispielantwort und die erwarteten Tool-Aufrufe.
- Speichern oder aktivieren
Entwurf speichern belässt das Beispiel in Überprüfung erforderlich. Speichern und aktivieren nimmt es in zukünftige Validierungsläufe auf.
Wenn Sie denselben Zug zweimal übernehmen, wird das vorhandene Beispiel wiederverwendet, statt zwei Kopien zu erstellen.
Beispieltypen und Status
Typen beschreiben, warum ein Beispiel existiert:
| Typ | Verwendung |
|---|---|
| Fehler | Eine echte Antwort, die ein Verhalten offenlegte, das Sie verhindern möchten. |
| Golden | Eine bekanntermaßen gute Antwort, die es zu bewahren gilt. |
| Manuell | Ein manuell kuratierter Fall, der keiner der beiden Kategorien angehört. |
Status steuern den Lebenszyklus:
| Status | Bedeutung |
|---|---|
| Überprüfung erforderlich | Die Referenzvorgabe wird noch geprüft; von Durchläufen ausgeschlossen. |
| Aktiv | In Validierungsläufe eingeschlossen. |
| Veraltet | Der Prompt wurde geändert, seit das Beispiel eingefroren wurde; prüfen Sie seine Erwartung. |
| Inkompatibel | Das Beispiel kann nicht mit der aktuellen Konfiguration erneut ausgeführt werden. |
| Archiviert | Für den Verlauf erhalten, aber von Durchläufen ausgeschlossen. |
Datensatz durchsuchen und verfeinern
Filtern Sie den Organisationsdatensatz nach Agent, Status oder Typ. Durch Auswahl eines Beispiels werden folgende Informationen angezeigt:
- Eingefrorener Unterhaltungskontext und abspielbare Audioabschnitte des Anrufers.
- Der Ursprungsanruf und die ursprüngliche Antwort.
- Referenzerwartung, akzeptierte gesprochene Antwort und Tool-Aufrufe.
- Die letzte erneute Ausführung neben dem ursprünglichen und erwarteten Verhalten.
- Das letzte Urteil und Erklärungen der Bewertungsinstanz, sofern verfügbar.
Wählen Sie Referenzvorgabe bearbeiten, um die Erwartung oder akzeptierte Antwort zu überarbeiten. Wählen Sie Mit Entwurf erneut ausführen, um nur dieses Beispiel zu testen, ohne einen vollständigen Durchlauf zu starten. Erneute Ausführungen verwenden den aktuellen Entwurf des Agents, nicht unbedingt dessen bereitgestellte Konfiguration.
Einen Validierungssatz ausführen
Starten Sie im Tab Validierung des Agents einen Durchlauf für jedes aktive Beispiel. Jedes Beispiel erhält eines dieser Urteile:
- Bestanden — die Antwort erfüllt die Erwartung und berücksichtigt die Audioinhalte des Anrufers.
- Warnung — die Antwort ist verwendbar, aber eine Prüfung hat Unsicherheit festgestellt.
- Fehlgeschlagen — sie widerspricht den Audioinhalten oder verfehlt erforderliches Verhalten.
- Übersprungen — erforderliche Audioinhalte des Anrufers konnten nicht geladen werden; sie werden vom Nenner der Bestehensquote ausgeschlossen.
- Fehler — erneute Ausführung oder Bewertung konnte nicht abgeschlossen werden.
Die Zusammenfassung des Durchlaufs enthält die Anzahl bestandener Fälle, Warnungen, Fehler und übersprungener Fälle, die Bestehensquote, die geschätzten Kosten und jede Regression von bestanden zu fehlgeschlagen seit dem vorherigen abgeschlossenen Durchlauf. Pro Agent kann jeweils nur ein Validierungslauf aktiv sein.
Mit Validierungsnachweisen bereitstellen
Wenn ein Agent Validierungsbeispiele hat, zeigt der Bereitstellungsdialog an, ob der zuletzt abgeschlossene Durchlauf mit dem aktuellen Entwurf übereinstimmt. Sie können:
- Mit der angezeigten Erfolgsquote und Anzahl der Regressionen bereitstellen.
- Zuerst die Validierung ausführen, wenn kein passender Durchlauf vorhanden ist.
- Nach Überprüfung des Ergebnisses bewusst trotzdem bereitstellen.
Die Validierung ist ein Nachweis und eine Bereitstellungsprüfung, keine automatische Aufteilung des Produktionsdatenverkehrs. Für Live-Vergleiche verwenden Sie Experimente (A/B-Tests).
API-Automatisierung
Die Validation Sets API unterstützt das Hochstufen von Turns, die Verwaltung von Beispielen, das Streamen angehefteter Audiodaten, einzelne Wiederholungen, Batch-Durchläufe, Durchlaufergebnisse, Status beim Bereitstellen und die Organisationsübersicht.