실험(A/B 테스트)
실제 통화에서 두 에이전트 구성을 나란히 실행하고 성공률로 우승자를 결정합니다.
A/B 테스트는 감이 아니라 데이터로 "새 프롬프트가 실제로 더 나은가?"에 답합니다. 수신 통화는 에이전트 변형 간에 분배되고, 각 통화는 평소와 같이 평가되며, 변형별 성공률을 비교합니다.
두 가지 화면이 있습니다.
- 에이전트별 — 각 에이전트의 빌더에서 A/B 탭(
/dashboard/agents/<id>?tab=variants)을 통해 테스트를 구성하고 조정합니다. 여기서 변형을 만들고 테스트를 켭니다. - 에이전트 간 개요 — 품질 및 테스트 아래의 실험 페이지(
/dashboard/experiments)에서 모든 에이전트의 테스트를 하나의 표로 집계합니다.
테스트 설정
실험 페이지에서 A/B 테스트 설정을 클릭하고 에이전트를 선택합니다. 해당 에이전트의 A/B 탭으로 이동하여 변형 구성(하나는 대조군으로 표시됨)을 만들고 분할 테스트를 활성화합니다. 빌더 자체에 대해서는 에이전트 구축을 참조하세요.
개요 읽기
테스트가 있는 각 에이전트에 대해 실험 표에는 다음이 표시됩니다.
- 상태 — 활성(분할 테스트 켜짐) 또는 일시 중지됨입니다.
- 변형 — 대조군 레이블이 포함된 모든 변형이 칩으로 표시됩니다.
- 선두 — 현재까지 성공률이 가장 높은 변형과 해당 비율입니다. 변형에 평가된 통화가 쌓이기 전까지는 아직 데이터가 충분하지 않음으로 표시됩니다. 몇 건의 통화만으로 승자를 정하지 마세요.
- 통화 — 테스트 변형 전체의 총 통화 수입니다.
테스트가 없는 에이전트는 테스트를 시작할 수 있는 원클릭 안내로 아래에 표시됩니다. 행을 클릭하면 해당 에이전트의 A/B 탭으로 이동하여 테스트를 조정하거나 종료할 수 있습니다.