ThunderPhone v3 já está no ar, com Zeus, o framework de IA para agentes de voz.Leia o post de lançamento

Tecnologia

Vá além do pipeline de três etapas.

A maioria das soluções de IA de voz usa um modelo de transcrição, um LLM e um modelo de TTS — ou um único modelo speech-to-speech. ThunderPhone roda vários modelos em cada chamada e faz com que eles validem uns aos outros.

Arquitetura

Outras stacks falham em chamadas reais.
A nossa aguenta.

Outros provedores usam um pipeline de três etapas ou um modelo speech-to-speech. As duas abordagens geram erros que comprometem chamadas reais.

Pipeline de três etapas

Cada etapa confia na anterior

  • A transcrição mantém uma única hipótese mais provável. Quando ela está errada, o LLM não consegue corrigir o rumo.
  • LLMs rápidos cometem erros. Os mais criteriosos levam segundos para responder.
  • A alternância rígida de turnos deixa as conversas engessadas.
Fala para fala

Soa natural, mas não segue as regras à risca

  • Não é confiável ao seguir instruções nem ao acionar ferramentas.
  • Um comportamento imprevisível é arriscado em chamadas de negócios.
  • Às vezes, entende melhor o que é dito. Nem sempre.
ThunderPhone

Vários modelos conferindo o trabalho uns dos outros

  • Vários transcritores, além do próprio áudio, para entender corretamente quem liga.
  • Um LLM rápido e um LLM de raciocínio, alternando a cada turno.
  • Calibrados pelo Zeus para o que suas chamadas precisam.

Vários modelos por chamada

Ouvimos de várias formas para depois conciliar.

Chamadas confiáveis exigem muito mais do que três modelos. Combinamos modelos de código aberto e comerciais e fazemos ajustes finos quando isso faz diferença.

Escuta

Vários transcritores, além do áudio

Executamos vários modelos de transcrição ao mesmo tempo e, muitas vezes, também enviamos o áudio diretamente para um LLM.

Raciocínio

Um LLM rápido e um LLM de raciocínio

A conversa define, turno a turno, qual deles responde.

Conversa

Ruído, falantes e alternância de turnos

Modelos para tratar ruído, separar falantes e detectar o início e o fim de cada turno.

Fala para fala, com backup

Voz natural, comportamento confiável

Combinamos modelos de fala para fala com modelos de texto em paralelo.

Pipeline de três etapas resposta errada

quem liga“Alugo.” (murmurado)
transcrição“Hugo.”
agente“Olá, Hugo — como posso ajudar?”

ThunderPhone resposta certa de primeira

quem liga“Alugo.” (murmurado)
evidênciasTrês transcrições e o áudio original. Dois dos três caminhos concordam: “Alugo.”
agente“Entendi, então você aluga.”

Precisão

Precisão comprovada em benchmark público.

O Big Bench Audio avalia se um modelo entende perguntas difíceis em áudio e responde corretamente.

99.4%no Big Bench Audio. A segunda maior pontuação publicada e a maior entre todos os modelos rápidos o suficiente para chamadas ao vivo.Conjunto de dados no Hugging Face ↗

Nossas avaliações

Avaliações baseadas em chamadas reais.

Testamos cada modelo, em todas as partes do stack, com dados de chamadas reais — não com alegações de fornecedores — e acompanhamos os prós e os contras de cada um. É esse sinal que o Zeus usa para escolher sua configuração.

Em breve, vamos publicar versões das nossas avaliações internas.

Avaliação com chamadas reaisModelo AModelo B
Reconhecimento de nomes e númerosmais fortebom
Respostas curtas (“sim”, “não”)bommais forte
Velocidade de respostamais rápidomais lento
Cumprimento de regras longasmais fracomais forte

Trade-offs

Cada chamada pede uma configuração diferente. Zeus decide qual.

Nossa arquitetura funciona como um menu de modelos para cada etapa: reconhecimento, raciocínio, gestão de turnos e voz. Em cada uma, há opções que equilibram precisão, velocidade e custo. Zeus escolhe a melhor configuração para suas chamadas.

Recepcionista de clínica odontológicaVendas ativas
ReconhecimentoTrês transcritores combinados com o áudio, para reconhecer nomes, datas de nascimento e números de carteirinha do convênioUm transcritor rápido, otimizado para respostas curtas
RaciocínioModelo de raciocínio nos turnos de agendamento e modelo rápido para conversas informaisModelo rápido na maioria dos turnos, para manter o ritmo da abordagem
Gestão de turnosCom paciência: respeita as pausas enquanto quem liga procura a carteirinhaÁgil: responde assim que o potencial cliente para de falar
VozVoz estável, que repete números com clarezaA voz premium mais natural
ObjetivoAgendamentos concluídos, sem dados incorretosValor da conversão menos o custo da chamada

Exemplos meramente ilustrativos. Zeus escolhe cada configuração com base nas suas próprias chamadas e objetivos.

Latência

Rápido na maioria dos turnos. Cuidadoso quando importa.

Alguns turnos da conversa exigem que o modelo raciocine mais a fundo, e isso leva tempo. A maioria pode ser processada muito rapidamente. ThunderPhone ajusta a inteligência a cada turno, então uma resposta típica chega em cerca de 1,5 segundo. Mas, quando necessário, leva mais tempo para evitar erros. Outras soluções de IA de voz não fazem isso.

Tempo de resposta, turno a turno

~1,5 scotação de preçoverificação da política
Modelo rápidoModelo de raciocínio

Chamadas reais

Conversa natural, mesmo em chamadas complicadas.

Quem liga pode interromper, fazer pausas e mudar de ideia — e a conversa continua fluindo. ThunderPhone foi desenvolvido para lidar com as situações que fazem outros sistemas falharem.

Compreensão

Fala embolada

Compara o áudio com o texto, em vez de confiar apenas em uma transcrição.

Compreensão

Nomes e endereços

Cruza nomes próprios, grafias, números e correções.

Áudio

Áudio ruim na chamada

Modelos especializados em ruído limpam o sinal antes que qualquer outro sistema o processe.

Áudio

Conversas ao fundo

Identifica conversas paralelas antes que elas tirem o agente de voz do rumo.

Idioma

Mistura de idiomas na fala

Troca de idioma no meio da chamada assim que quem liga faz o mesmo.

Alternância de fala

Interrupções e pausas

Para de falar quando quem liga interrompe, ignora o “uhum” e aguarda quando a pessoa faz uma pausa para pensar.

Vozes

Vozes de TTS têm seus prós e contras. Zeus ajuda você a escolher.

Cada modelo de TTS tem seus pontos fortes e limitações. Zeus ajuda você a escolher o ideal para suas chamadas.

Plataforma InworldPremium CartesiaPremium ElevenLabs v4 Turbo
CustoPraticamente grátisCerca de 2¢ a mais por minutoCerca de 2¢ a mais por minuto
Estabilidade
Naturalidade

Idiomas

O idioma de quem liga, mesmo no meio da chamada.

Os agentes de voz entendem e falam 62 idiomas, alternando assim que quem liga muda de idioma. Sem custo adicional por idioma.

AfrikaansArabicArmenianAssameseAzerbaijaniBengaliBosnianBulgarianCantoneseCatalanChineseCroatianCzechDanishDutchEnglishEstonianFilipinoFinnishFrenchGalicianGermanGreekGujaratiHebrewHindiHungarianIcelandicIndonesianItalianJapaneseKannadaKazakhKoreanLatvianLithuanianMacedonianMalayMalayalamMarathiNepaliNorwegianOdiaPersianPolishPortuguesePunjabiRomanianRussianSerbianSlovakSlovenianSpanishSwahiliSwedishTamilTeluguThaiTurkishUkrainianUrduVietnamese

Teste nas suas chamadas mais desafiadoras.

Comece grátis com $10 em créditos para chamadas. Não precisa de cartão de crédito.