Open in
Eksperimenti (A/B testiranje)
Pokrenite dvije konfiguracije agenta usporedno na stvarnim pozivima i prepustite stopama uspješnosti da odaberu pobjednika.
A/B testiranje odgovara na pitanje „je li novi prompt doista bolji?” podacima umjesto dojmovima: dolazni se pozivi dijele između varijanti agenta, svaki se poziv ocjenjuje kao i obično, a zatim uspoređujete stope uspješnosti po varijanti.
Postoje dva prikaza:
- Po agentu — testovi se konfiguriraju i prilagođavaju u alatu za
izradu svakog agenta, na njegovoj kartici A/B
(
/dashboard/agents/<id>?tab=variants). Tamo se stvaraju varijante i uključuje testiranje podjele. - Pregled svih agenata — stranica Eksperimenti
(
/dashboard/experiments, u odjeljku Kvaliteta i testiranje) objedinjuje testove svih agenata u jednu tablicu.
Postavite test
Na stranici Eksperimenti kliknite Postavite A/B test i odaberite agenta — otvorit će se kartica A/B tog agenta, na kojoj stvarate konfiguracije varijanti (jedna je označena kao kontrolna) i uključujete testiranje podjele. Pogledajte Izradite agenta za sam alat za izradu.
Pročitajte pregled
Za svakog agenta s testom tablica Eksperimenti prikazuje:
- Status — Aktivno (testiranje podjele uključeno) ili Pauzirano.
- Varijante — svaku varijantu kao oznaku, uz označenu kontrolnu varijantu.
- Vodeća — varijantu s dosad najboljom stopom uspješnosti, zajedno s njezinim postotkom. Dok varijante nemaju ocijenjene pozive, ovdje piše Još nema dovoljno podataka — nemojte proglašavati pobjednika na temelju nekolicine poziva.
- Pozivi — ukupan broj poziva među varijantama testa.
Agenti bez testa navedeni su ispod kao poticaji za pokretanje testa jednim klikom. Klikom na bilo koji red otvarate karticu A/B tog agenta radi prilagodbe ili završetka testa.