ניסויים (בדיקות A/B)
הפעילו שתי תצורות של סוכנים זו לצד זו בשיחות אמיתיות ותנו לשיעורי ההצלחה לקבוע את המנצח.
בדיקות A/B עונות על השאלה "האם הפרומפט החדש באמת טוב יותר?" באמצעות נתונים במקום תחושות: שיחות נכנסות מחולקות בין וריאנטים של סוכנים, כל שיחה מדורגת כרגיל, ואתם משווים שיעורי הצלחה לכל וריאנט.
יש שני ממשקים:
- לכל סוכן — הבדיקות מוגדרות ומכווננות בבונה של כל סוכן,
בלשונית A/B שלו (
/dashboard/agents/<id>?tab=variants). שם יוצרים וריאנטים ומפעילים את הבדיקה. - סקירה בין סוכנים — דף ניסויים
(
/dashboard/experiments, תחת Quality & Testing) מאגד את הבדיקה של כל סוכן בטבלה אחת.
הגדירו בדיקה
בדף הניסויים, לחצו על הגדירו בדיקת A/B ובחרו סוכן — תועברו ללשונית A/B של אותו סוכן, שבה תיצרו את תצורות הווריאנטים (אחד מסומן כ-בקרה) ותפעילו בדיקה מפוצלת. לעיון בבונה עצמו, ראו בניית סוכן.
קראו את הסקירה
לכל סוכן עם בדיקה, טבלת הניסויים מציגה:
- סטטוס — פעיל (בדיקה מפוצלת מופעלת) או מושהה.
- וריאנטים — כל וריאנט כשבב, עם סימון של וריאנט הבקרה.
- מוביל — הווריאנט עם שיעור ההצלחה הטוב ביותר עד כה, לצד האחוז שלו. עד שלוריאנטים יהיו שיחות מדורגות, יוצג כאן עדיין אין מספיק נתונים — אל תכתירו מנצח על סמך קומץ שיחות.
- שיחות — סך כל השיחות בכל הווריאנטים של הבדיקה.
סוכנים ללא בדיקה מופיעים מתחת כרמזים בלחיצה אחת להתחיל בדיקה. לחיצה על שורה כלשהי מעבירה ללשונית A/B של אותו סוכן, כדי לכוונן או לסיים את הבדיקה.