एक्सपेरिमेंट्स (A/B टेस्टिंग)
वास्तविक कॉल्स पर दो एजेंट कॉन्फ़िगरेशन को साथ-साथ चलाएँ और सफलता दरों को विजेता चुनने दें।
A/B टेस्टिंग डेटा के साथ इस सवाल का जवाब देती है कि "क्या नया प्रॉम्प्ट वास्तव में बेहतर है?" सिर्फ अनुमान से नहीं: इनकमिंग कॉल्स को एजेंट वेरिएंट्स के बीच बांटा जाता है, हर कॉल को सामान्य रूप से ग्रेड किया जाता है, और आप हर वेरिएंट की सफलता दर की तुलना करते हैं।
इसके दो स्थान हैं:
- हर एजेंट के लिए — टेस्ट हर एजेंट के बिल्डर में,
उसके A/B टैब (
/dashboard/agents/<id>?tab=variants) पर कॉन्फ़िगर और ट्यून किए जाते हैं। यहीं वेरिएंट्स बनाए जाते हैं और टेस्ट चालू किया जाता है। - क्रॉस-एजेंट ओवरव्यू — Experiments पेज
(
/dashboard/experiments, Quality & Testing के अंतर्गत) हर एजेंट के टेस्ट को एक टेबल में एकत्रित करता है।
टेस्ट सेट अप करें
Experiments पेज से A/B टेस्ट सेट अप करें पर क्लिक करें और एक एजेंट चुनें — आप उस एजेंट के A/B टैब पर पहुंचेंगे, जहां आप वेरिएंट कॉन्फ़िगरेशन बनाते हैं (एक को कंट्रोल के रूप में चिह्नित किया जाता है) और स्प्लिट टेस्टिंग सक्षम करते हैं। बिल्डर के बारे में जानने के लिए एजेंट बनाएं देखें।
ओवरव्यू पढ़ें
टेस्ट वाले हर एजेंट के लिए, Experiments टेबल यह दिखाती है:
- स्थिति — सक्रिय (स्प्लिट टेस्टिंग चालू) या पॉज़ किया गया।
- वेरिएंट्स — हर वेरिएंट एक चिप के रूप में, जिसमें कंट्रोल लेबल किया गया हो।
- लीडिंग — अब तक की सबसे अच्छी सफलता दर वाला वेरिएंट, उसके प्रतिशत के साथ। जब तक वेरिएंट्स में ग्रेड की गई कॉल्स नहीं होतीं, यह अभी पर्याप्त डेटा नहीं है दिखाता है — कुछ ही कॉल्स के आधार पर विजेता घोषित न करें।
- कॉल्स — टेस्ट के वेरिएंट्स में कुल कॉल्स।
बिना टेस्ट वाले एजेंट नीचे सूचीबद्ध होते हैं, ताकि आप एक क्लिक में टेस्ट शुरू कर सकें। किसी भी पंक्ति पर क्लिक करने से आप उस एजेंट के A/B टैब पर जाकर टेस्ट को ट्यून या समाप्त कर सकते हैं।