Experimentos (testes A/B)
Execute duas configurações de agentes lado a lado em chamadas reais e deixe as taxas de sucesso escolherem a vencedora.
Os testes A/B respondem à pergunta "o novo prompt é realmente melhor?" com dados em vez de achismos: as chamadas recebidas são divididas entre variantes do agente, cada chamada é avaliada como de costume e você compara as taxas de sucesso por variante.
Há duas interfaces:
- Por agente — os testes são configurados e ajustados no construtor de cada
agente, na aba A/B (
/dashboard/agents/<id>?tab=variants). É lá que as variantes são criadas e o teste é ativado. - Visão geral entre agentes — a página Experimentos
(
/dashboard/experiments, em Qualidade e testes) agrega os testes de todos os agentes em uma única tabela.
Configurar um teste
Na página Experimentos, clique em Configurar um teste A/B e escolha um agente — você será direcionado para a aba A/B desse agente, onde criará as configurações de variante (uma é marcada como controle) e ativará os testes divididos. Consulte Criar um agente para saber mais sobre o construtor.
Ler a visão geral
Para cada agente com um teste, a tabela Experimentos mostra:
- Status — Ativo (teste dividido ativado) ou Pausado.
- Variantes — cada variante como um chip, com o controle identificado.
- Liderando — a variante com a melhor taxa de sucesso até o momento, com sua porcentagem. Até que as variantes tenham chamadas avaliadas, será exibido Ainda não há dados suficientes — não declare uma vencedora com base em poucas chamadas.
- Chamadas — total de chamadas entre as variantes do teste.
Os agentes sem teste são listados abaixo como lembretes de um clique para iniciar um. Clicar em qualquer linha leva você à aba A/B daquele agente para ajustar ou concluir o teste.