प्रयोग (A/B चाचणी)
A/B चाचणी "नवीन prompt खरोखरच अधिक चांगला आहे का?" याचे उत्तर अंदाजांऐवजी डेटाने देते: येणारे कॉल एजंटच्या व्हेरिएंट्समध्ये विभागले जातात, प्रत्येक कॉलचे नेहमीप्रमाणे मूल्यांकन केले जाते आणि तुम्ही प्रत्येक व्हेरिएंटचा यशाचा दर तुलना करता.
यासाठी दोन पृष्ठभाग आहेत:
- प्रति एजंट — प्रत्येक एजंटच्या बिल्डरमध्ये त्याच्या A/B टॅबवर (
/dashboard/agents/<id>?tab=variants) चाचण्या कॉन्फिगर आणि ट्यून केल्या जातात. येथेच व्हेरिएंट्स तयार केले जातात आणि चाचणी सुरू केली जाते. - क्रॉस-एजंट आढावा — Experiments पृष्ठ (
/dashboard/experiments, Quality & Testing अंतर्गत) प्रत्येक एजंटची चाचणी एका टेबलमध्ये एकत्रित करते.
चाचणी सेट अप करा
Experiments पृष्ठावरून A/B चाचणी सेट अप करा वर क्लिक करा आणि एजंट निवडा — तुम्ही त्या एजंटच्या A/B टॅबवर पोहोचाल, जिथे तुम्ही व्हेरिएंट कॉन्फिगरेशन्स तयार करता (एकाला नियंत्रण म्हणून चिन्हांकित केलेले असते) आणि स्प्लिट चाचणी सक्षम करता. बिल्डरसाठी एजंट तयार करा पहा.
आढावा वाचा
चाचणी असलेल्या प्रत्येक एजंटसाठी, Experiments टेबल खालील माहिती दाखवते:
- स्थिती — सक्रिय (स्प्लिट चाचणी सुरू) किंवा विरामित.
- व्हेरिएंट्स — नियंत्रण लेबलसह, चिप म्हणून प्रत्येक व्हेरिएंट.
- आघाडीवर — आतापर्यंत सर्वोत्तम यशाचा दर असलेला व्हेरिएंट, त्याच्या टक्केवारीसह. व्हेरिएंट्सना मूल्यांकन केलेले कॉल मिळेपर्यंत येथे अद्याप पुरेसा डेटा नाही असे दिसते — मोजक्या कॉल्सवरून विजेता ठरवू नका.
- कॉल्स — चाचणीच्या व्हेरिएंट्समधील एकूण कॉल्स.
चाचणी नसलेले एजंट खाली एक-क्लिक सूचनांप्रमाणे सूचीबद्ध केले जातात, ज्यामुळे तुम्ही चाचणी सुरू करू शकता. कोणत्याही रांगेवर क्लिक केल्यास चाचणी ट्यून करण्यासाठी किंवा समाप्त करण्यासाठी त्या एजंटच्या A/B टॅबवर जाता.