Conjuntos de validação: reproduza turnos reais de chamadas antes da implantação
Transforme momentos reais de chamadas do ThunderPhone em exemplos de validação reutilizáveis, revise o comportamento esperado, reproduza-os em uma versão preliminar do agente e detecte regressões antes da implantação.
Um exemplo de validação congela um turno do agente de uma chamada real: a conversa que levou até ele, o áudio relevante de quem liga, o que o agente realmente fez e a referência correta sobre o que ele deveria fazer. Reproduzir um conjunto com o rascunho atual detecta regressões sem fazer outra chamada.
Use a página Conjuntos de validação de toda a organização
(/dashboard/validation) para criar e revisar o conjunto de dados. Use a aba
Validação de um agente específico para executar o conjunto e inspecionar o histórico de execuções.
Adicione exemplos do histórico de chamadas
- Escolha Adicionar exemplos
Escolha o agente cujo comportamento o exemplo deve validar. O espaço de trabalho mostra até 25 chamadas recentes que não são de simulação para esse agente.
- Selecione uma chamada e um turno do agente
Leia a transcrição, passe o cursor sobre o turno do agente que deseja preservar e selecione a ação de seleção. A conversa até esse turno e seus trechos de áudio de quem liga são copiados para o conjunto de dados de validação.
- Revise a expectativa
O ThunderPhone cria um rascunho de uma descrição do comportamento correto. Edite-a para que seja específica e testável e, opcionalmente, edite a resposta de exemplo aceita e as chamadas de ferramenta esperadas.
- Salve ou ative
Salvar rascunho deixa o exemplo em Precisa de revisão. Salvar e ativar o inclui em futuras execuções de validação.
Promover o mesmo turno duas vezes reutiliza o exemplo existente em vez de criar duas cópias.
Tipos e status de exemplos
Os tipos descrevem por que um exemplo existe:
| Tipo | Uso |
|---|---|
| Falha | Uma resposta real que expôs um comportamento que você deseja evitar. |
| Referência | Uma resposta comprovadamente boa que vale a pena preservar. |
| Manual | Um caso selecionado manualmente que não pertence a nenhuma das categorias. |
Os status controlam o ciclo de vida:
| Status | Significado |
|---|---|
| Precisa de revisão | A referência correta ainda está sendo revisada; excluído das execuções. |
| Ativo | Incluído nas execuções de validação. |
| Desatualizado | O prompt mudou desde que o exemplo foi congelado; revise sua expectativa. |
| Incompatível | O exemplo não pode ser reproduzido com a configuração atual. |
| Arquivado | Preservado para histórico, mas excluído das execuções. |
Navegue e refine o conjunto de dados
Filtre o conjunto de dados da organização por agente, status ou tipo. Selecionar um exemplo mostra:
- Contexto de conversa congelado e trechos reproduzíveis de áudio de quem liga.
- A chamada de origem e a resposta original.
- A expectativa de referência, a resposta falada aceita e as chamadas de ferramenta.
- A reprodução mais recente ao lado do comportamento original e esperado.
- O veredito mais recente e as explicações do avaliador, quando disponíveis.
Escolha Editar referência correta para revisar a expectativa ou a resposta aceita. Escolha Reproduzir com o rascunho para testar apenas esse exemplo sem iniciar uma execução completa. As reproduções usam o rascunho atual do agente, não necessariamente sua configuração implantada.
Execute um conjunto de validação
Na aba Validação do agente, inicie uma execução para todos os exemplos ativos. Cada exemplo recebe um destes vereditos:
- Aprovado — a resposta atende à expectativa e ao áudio de quem liga.
- Aviso — a resposta é utilizável, mas uma verificação encontrou incerteza.
- Falha — contradiz o áudio ou não apresenta o comportamento necessário.
- Ignorado — não foi possível carregar o áudio necessário de quem liga; ele é excluído do denominador da taxa de aprovação.
- Erro — não foi possível concluir a reprodução ou a avaliação.
O resumo da execução informa as contagens de aprovados, avisos, falhas e ignorados, a taxa de aprovação, o custo estimado e qualquer regressão de aprovado para falha desde a execução concluída anterior. Apenas uma execução de validação por agente pode estar ativa por vez.
Implantar com evidências de validação
Quando um agente tem exemplos de validação, a caixa de diálogo de implantação informa se a última execução concluída corresponde ao rascunho atual. Você pode:
- Implantar com a taxa de aprovação e a contagem de regressões exibidas.
- Executar a validação primeiro se não houver uma execução correspondente.
- Implantar deliberadamente mesmo assim quando o resultado tiver sido revisado.
A validação é uma evidência e uma verificação de implantação, não uma divisão automática do tráfego de produção. Para comparações ao vivo, use Experimentos (testes A/B).
Automação por API
A API de Conjuntos de Validação abrange a promoção de turnos, o gerenciamento de exemplos, o streaming de áudio fixado, replays individuais, execuções em lote, resultados de execução, status no momento da implantação e a visão geral da organização.