Эксперименты (A/B-тестирование)
Запускайте две конфигурации агентов параллельно на реальных звонках и позвольте показателям успеха определить победителя.
A/B-тестирование отвечает на вопрос «действительно ли новый промпт лучше?» на основе данных, а не ощущений: входящие звонки распределяются между вариантами агента, каждый звонок оценивается как обычно, и вы сравниваете показатели успешности по вариантам.
Есть два раздела:
- Для каждого агента — тесты настраиваются и корректируются в конструкторе
каждого агента, на вкладке A/B (
/dashboard/agents/<id>?tab=variants). Здесь создаются варианты и включается тест. - Общий обзор по агентам — страница Эксперименты
(
/dashboard/experiments, в разделе «Качество и тестирование») объединяет тесты всех агентов в одной таблице.
Настройте тест
На странице «Эксперименты» нажмите Настроить A/B-тест и выберите агента — вы перейдёте на вкладку A/B этого агента, где создадите конфигурации вариантов (один из них отмечен как контрольный) и включите разделённое тестирование. Подробнее о самом конструкторе см. в разделе Создание агента.
Просмотрите обзор
Для каждого агента с тестом таблица «Эксперименты» показывает:
- Статус — Активен (разделённое тестирование включено) или Приостановлен.
- Варианты — каждый вариант отображается в виде метки, а контрольный вариант отмечен.
- Лидирует — вариант с лучшим на данный момент показателем успешности и его процент. Пока у вариантов нет оценённых звонков, отображается Пока недостаточно данных — не объявляйте победителя по нескольким звонкам.
- Звонки — общее количество звонков по вариантам теста.
Агенты без теста перечислены ниже как быстрые действия в один клик для его запуска. Нажмите любую строку, чтобы перейти на вкладку A/B этого агента и скорректировать или завершить тест.