ప్రయోగాలు (A/B పరీక్షణ)
A/B పరీక్ష, ఊహల బదులు డేటాతో "కొత్త prompt నిజంగా మెరుగైనదేనా?" అనే ప్రశ్నకు సమాధానం ఇస్తుంది: ఇన్కమింగ్ కాల్లు ఏజెంట్ వేరియంట్ల మధ్య విభజించబడతాయి, ప్రతి కాల్ను సాధారణంగానే గ్రేడ్ చేస్తారు, ఆపై ప్రతి వేరియంట్ విజయ రేట్లను పోల్చుతారు.
రెండు విభాగాలు ఉన్నాయి:
- ప్రతి ఏజెంట్కు — పరీక్షలను ప్రతి ఏజెంట్ బిల్డర్లోని A/B ట్యాబ్లో (
/dashboard/agents/<id>?tab=variants) కాన్ఫిగర్ చేసి సర్దుబాటు చేస్తారు. అక్కడే వేరియంట్లను సృష్టించి పరీక్షను ఆన్ చేస్తారు. - ఏజెంట్ల మధ్య అవలోకనం — ప్రయోగాలు పేజీ (
/dashboard/experiments, నాణ్యత & పరీక్ష విభాగం కింద) ప్రతి ఏజెంట్ పరీక్షను ఒకే పట్టికలో సమగ్రపరుస్తుంది.
పరీక్షను సెటప్ చేయండి
ప్రయోగాలు పేజీ నుంచి A/B పరీక్షను సెటప్ చేయండి క్లిక్ చేసి ఒక ఏజెంట్ను ఎంచుకోండి — ఆ ఏజెంట్ A/B ట్యాబ్కు వెళ్తారు. అక్కడ వేరియంట్ కాన్ఫిగరేషన్లను సృష్టించి (వాటిలో ఒకటి కంట్రోల్గా గుర్తించబడుతుంది) స్ప్లిట్ టెస్టింగ్ను ప్రారంభిస్తారు. బిల్డర్ గురించి తెలుసుకోవడానికి ఏజెంట్ను రూపొందించండి చూడండి.
అవలోకనాన్ని చదవండి
పరీక్ష ఉన్న ప్రతి ఏజెంట్కు, ప్రయోగాల పట్టికలో ఇవి కనిపిస్తాయి:
- స్థితి — యాక్టివ్ (స్ప్లిట్ టెస్టింగ్ ఆన్లో ఉంది) లేదా పాజ్ చేయబడింది.
- వేరియంట్లు — కంట్రోల్ లేబుల్తో సహా ప్రతి వేరియంట్ ఒక చిప్గా కనిపిస్తుంది.
- ఆధిక్యంలో — ఇప్పటివరకు అత్యుత్తమ విజయ రేటు కలిగిన వేరియంట్, దాని శాతంతో సహా. వేరియంట్లకు గ్రేడ్ చేసిన కాల్లు వచ్చే వరకు, ఇక్కడ ఇంకా తగినంత డేటా లేదు అని కనిపిస్తుంది — కొద్దిపాటి కాల్ల ఆధారంగా విజేతను నిర్ణయించవద్దు.
- కాల్స్ — పరీక్షలోని వేరియంట్లన్నింటి మొత్తం కాల్లు.
పరీక్ష లేని ఏజెంట్లు, పరీక్షను ప్రారంభించడానికి ఒక క్లిక్తో ఉపయోగించగల సూచనలుగా కింద జాబితా చేయబడతారు. ఏ వరుసపై క్లిక్ చేసినా, పరీక్షను సర్దుబాటు చేయడానికి లేదా ముగించడానికి ఆ ఏజెంట్ A/B ట్యాబ్కు వెళ్తారు.