Kísérletek (A/B-tesztelés)
Futtasson két ügynökkonfigurációt egymás mellett valós hívásokon, és hagyja, hogy a sikerességi arányok válasszák ki a nyertest.
Az A/B-tesztelés adatokkal válaszolja meg azt a kérdést, hogy „az új prompt valóban jobb-e?”, nem megérzések alapján: a bejövő hívások az ügynök variánsai között oszlanak meg, minden hívást a megszokott módon értékel a rendszer, Ön pedig variánsonként összehasonlíthatja a sikerességi arányokat.
Két felület áll rendelkezésre:
- Ügynökönként — a teszteket az egyes ügynökök szerkesztőjében, azok A/B lapján (
/dashboard/agents/<id>?tab=variants) állíthatja be és hangolhatja. Itt hozhat létre variánsokat, és itt kapcsolhatja be a tesztet. - Ügynökök közötti áttekintés — a Kísérletek oldal (
/dashboard/experiments, a Minőség és tesztelés alatt) minden ügynök tesztjét egyetlen táblázatban összesíti.
Teszt beállítása
A Kísérletek oldalon kattintson az A/B-teszt beállítása lehetőségre, majd válasszon ki egy ügynököt — az adott ügynök A/B lapjára jut, ahol létrehozhatja a variánskonfigurációkat (az egyik kontroll jelölést kap), és engedélyezheti a megosztott tesztelést. Magáról a szerkesztőről lásd: Ügynök létrehozása.
Az áttekintés értelmezése
Minden teszttel rendelkező ügynökhöz a Kísérletek táblázat a következőket jeleníti meg:
- Állapot — Aktív (a megosztott tesztelés be van kapcsolva) vagy Szüneteltetve.
- Variánsok — minden variáns címkeként jelenik meg, a kontroll megjelölésével.
- Vezető — az eddigi legjobb sikerességi aránnyal rendelkező variáns a százalékos értékével együtt. Amíg a variánsokhoz nincsenek értékelt hívások, itt a Még nincs elegendő adat szöveg látható — ne hirdessen győztest néhány hívás alapján.
- Hívások — a teszt variánsaihoz tartozó hívások teljes száma.
A teszt nélküli ügynökök ezek alatt, a teszt elindítására szolgáló egykattintásos lehetőségként szerepelnek. Bármelyik sorra kattintva az adott ügynök A/B lapjára ugorhat, ahol finomhangolhatja vagy lezárhatja a tesztet.