Experimenty (A/B testování)
Spusťte vedle sebe dvě konfigurace agenta při skutečných hovorech a nechte míry úspěšnosti rozhodnout o vítězi.
A/B testování odpovídá na otázku „je nový prompt skutečně lepší?“ pomocí dat namísto dojmů: příchozí hovory jsou rozděleny mezi varianty agenta, každý hovor se vyhodnocuje jako obvykle a porovnávají se míry úspěšnosti jednotlivých variant.
Existují dvě místa:
- Pro jednotlivé agenty — testy se konfigurují a ladí v nástroji pro sestavení každého agenta
na kartě A/B (
/dashboard/agents/<id>?tab=variants). Zde vytváříte varianty a zapínáte test. - Přehled napříč agenty — stránka Experimenty
(
/dashboard/experiments, v sekci Kvalita a testování) sdružuje testy všech agentů do jedné tabulky.
Nastavení testu
Na stránce Experimenty klikněte na Nastavit A/B test a vyberte agenta — přejdete na kartu A/B daného agenta, kde vytvoříte konfigurace variant (jedna je označena jako kontrolní) a povolíte rozdělené testování. Informace o samotném nástroji pro sestavení najdete v části Vytvoření agenta.
Čtení přehledu
U každého agenta s testem tabulka Experimenty zobrazuje:
- Stav — Aktivní (rozdělené testování je zapnuté) nebo Pozastaveno.
- Varianty — každou variantu jako štítek včetně označení kontrolní varianty.
- Vedoucí — variantu s dosud nejlepší mírou úspěšnosti včetně jejího procenta. Dokud varianty nemají vyhodnocené hovory, zobrazí se Zatím není dostatek dat — neurčujte vítěze podle několika málo hovorů.
- Hovory — celkový počet hovorů napříč variantami testu.
Agenti bez testu jsou uvedeni níže jako nabídka, jak test spustit jedním kliknutím. Kliknutím na libovolný řádek přejdete na kartu A/B daného agenta, kde můžete test doladit nebo ukončit.