Експерименти (A/B-тестування)
Запускайте дві конфігурації агентів паралельно на реальних дзвінках і дозвольте показникам успішності визначити переможця.
A/B-тестування дає відповідь на запитання «чи справді новий промпт кращий?» на основі даних, а не вражень: вхідні дзвінки розподіляються між варіантами агента, кожен дзвінок оцінюється як зазвичай, і ви порівнюєте показники успішності для кожного варіанта.
Є два рівні:
- Для кожного агента — тести налаштовуються й коригуються в конструкторі кожного агента, на вкладці A/B (
/dashboard/agents/<id>?tab=variants). Тут створюються варіанти та вмикається тестування з розподілом. - Огляд між агентами — сторінка Експерименти (
/dashboard/experiments, у розділі Якість і тестування) збирає тести всіх агентів в одну таблицю.
Налаштуйте тест
На сторінці «Експерименти» натисніть Налаштувати A/B-тест і виберіть агента — ви перейдете на вкладку A/B цього агента, де створите конфігурації варіантів (один позначається як контрольний) і ввімкнете тестування з розподілом. Докладніше про сам конструктор дивіться в розділі Створення агента.
Перегляньте огляд
Для кожного агента з тестом таблиця «Експерименти» показує:
- Статус — Активний (тестування з розподілом увімкнено) або Призупинений.
- Варіанти — кожен варіант як мітка з позначенням контрольного.
- Лідирує — варіант із найкращим показником успішності на цей момент разом із його відсотком. Поки для варіантів немає оцінених дзвінків, тут відображається Ще недостатньо даних — не визначайте переможця за кількома дзвінками.
- Дзвінки — загальна кількість дзвінків для варіантів тесту.
Агенти без тесту відображаються нижче як підказки для запуску тесту в один клік. Натисніть будь-який рядок, щоб перейти на вкладку A/B відповідного агента й налаштувати або завершити тест.