Eksperymenty (testy A/B)
Uruchom równolegle dwie konfiguracje agentów na rzeczywistych połączeniach i pozwól, by wskaźniki sukcesu wyłoniły zwycięzcę.
Testy A/B odpowiadają na pytanie „czy nowy prompt jest rzeczywiście lepszy?” na podstawie danych zamiast przeczucia: połączenia przychodzące są dzielone między warianty agenta, każde połączenie jest oceniane jak zwykle, a następnie porównujesz współczynniki sukcesu dla poszczególnych wariantów.
Dostępne są dwa widoki:
- Dla agenta — testy konfiguruje się i dostraja w kreatorze każdego
agenta, na karcie A/B (
/dashboard/agents/<id>?tab=variants). To tutaj tworzysz warianty i włączasz test. - Przegląd między agentami — strona Eksperymenty
(
/dashboard/experiments, w sekcji Jakość i testowanie) agreguje testy wszystkich agentów w jednej tabeli.
Skonfiguruj test
Na stronie Eksperymenty kliknij Skonfiguruj test A/B i wybierz agenta — przejdziesz na kartę A/B tego agenta, gdzie utworzysz konfiguracje wariantów (jeden jest oznaczony jako kontrolny) i włączysz testowanie z podziałem ruchu. Więcej informacji o samym kreatorze znajdziesz w Tworzenie agenta.
Odczytaj przegląd
Dla każdego agenta z testem tabela Eksperymenty pokazuje:
- Status — Aktywny (testowanie z podziałem ruchu włączone) lub Wstrzymany.
- Warianty — każdy wariant jako etykietę, z oznaczeniem wariantu kontrolnego.
- Prowadzi — wariant z najlepszym dotychczas współczynnikiem sukcesu wraz z jego wartością procentową. Dopóki warianty nie mają ocenionych połączeń, widoczny jest tekst Za mało danych — nie ogłaszaj zwycięzcy na podstawie kilku połączeń.
- Połączenia — łączna liczba połączeń we wszystkich wariantach testu.
Agenci bez testu są wymienieni poniżej jako jednoklikowe zachęty do rozpoczęcia testu. Kliknięcie dowolnego wiersza przenosi na kartę A/B danego agenta, aby dostroić lub zakończyć test.