Experimente (A/B-Tests)
Führen Sie zwei Agentenkonfigurationen parallel bei echten Anrufen aus und lassen Sie die Erfolgsraten den Gewinner bestimmen.
A/B-Tests beantworten die Frage „Ist der neue Prompt tatsächlich besser?“ mit Daten statt Bauchgefühl: Eingehende Anrufe werden auf Varianten von Agenten aufgeteilt, jeder Anruf wird wie gewohnt bewertet, und Sie vergleichen die Erfolgsraten pro Variante.
Es gibt zwei Bereiche:
- Pro Agent — Tests werden im Builder jedes Agenten auf dessen
Tab A/B (
/dashboard/agents/<id>?tab=variants) konfiguriert und optimiert. Dort erstellen Sie Varianten und aktivieren den Test. - Agentübergreifende Übersicht — die Seite Experiments
(
/dashboard/experiments, unter Quality & Testing) fasst die Tests aller Agenten in einer Tabelle zusammen.
Test einrichten
Klicken Sie auf der Seite Experiments auf A/B-Test einrichten und wählen Sie einen Agenten aus — Sie gelangen zum A/B-Tab dieses Agenten, wo Sie die Varianten- konfigurationen erstellen (eine ist als Kontrolle markiert) und Split-Tests aktivieren. Informationen zum Builder selbst finden Sie unter Agenten erstellen.
Übersicht lesen
Für jeden Agenten mit einem Test zeigt die Experiments-Tabelle Folgendes:
- Status — Aktiv (Split-Tests aktiviert) oder Pausiert.
- Varianten — jede Variante als Chip, mit Kennzeichnung der Kontrolle.
- Führend — die Variante mit der bisher besten Erfolgsrate, einschließlich ihres Prozentsatzes. Bis Varianten bewertete Anrufe haben, steht hier Noch nicht genügend Daten — küren Sie keinen Gewinner anhand einiger weniger Anrufe.
- Anrufe — alle Anrufe über die Varianten des Tests hinweg.
Agenten ohne Test werden darunter als Ein-Klick-Optionen zum Starten eines Tests aufgeführt. Wenn Sie auf eine Zeile klicken, gelangen Sie zum A/B-Tab dieses Agenten, um den Test zu optimieren oder abzuschließen.