Eksperimen (pengujian A/B)
Jalankan dua konfigurasi agen secara berdampingan pada panggilan nyata dan biarkan tingkat keberhasilan menentukan pemenangnya.
Pengujian A/B menjawab pertanyaan "apakah Prompt baru benar-benar lebih baik?" dengan data bukan intuisi: panggilan masuk dibagi di antara varian agen, setiap panggilan dinilai seperti biasa, lalu Anda membandingkan tingkat keberhasilan per varian.
Ada dua tampilan:
- Per agen — pengujian dikonfigurasi dan disesuaikan di builder
setiap agen, pada tab A/B-nya (
/dashboard/agents/<id>?tab=variants). Di sana varian dibuat dan pengujian diaktifkan. - Ringkasan lintas agen — halaman Eksperimen
(
/dashboard/experiments, di bawah Kualitas & Pengujian) menggabungkan pengujian setiap agen ke dalam satu tabel.
Siapkan pengujian
Dari halaman Eksperimen, klik Siapkan pengujian A/B dan pilih agen — Anda akan masuk ke tab A/B agen tersebut, tempat Anda membuat konfigurasi varian (satu ditandai sebagai kontrol) dan mengaktifkan pengujian terpisah. Lihat Membangun agen untuk builder-nya.
Membaca ringkasan
Untuk setiap agen dengan pengujian, tabel Eksperimen menampilkan:
- Status — Aktif (pengujian terpisah aktif) atau Dijeda.
- Varian — setiap varian sebagai label, dengan kontrol diberi penanda.
- Memimpin — varian dengan tingkat keberhasilan terbaik sejauh ini, beserta persentasenya. Hingga varian memiliki panggilan yang dinilai, ini menampilkan Data belum cukup — jangan tetapkan pemenang hanya dari segelintir panggilan.
- Panggilan — total panggilan di seluruh varian pengujian.
Agen tanpa pengujian tercantum di bawah sebagai opsi sekali klik untuk memulainya. Mengklik baris mana pun akan membawa Anda ke tab A/B agen tersebut untuk menyesuaikan atau mengakhiri pengujian.