Nossas primeiras impressões sobre a API GPT-Live-1 para agentes de voz

A OpenAI disponibilizou o GPT-Live-1, seu novo modelo de voz full-duplex, na API há dois dias. Nós criamos e operamos agentes de IA por telefone em produção, então colocamos o modelo em um número de telefone real e ligamos para ele. Muitas vezes.

Nós o testamos com um script de qualificação de leads quentes de cerca de 13.000 tokens de um de nossos clientes de seguros, com falas obrigatórias que precisavam ser reproduzidas literalmente, regras rígidas de repetição e acompanhamentos condicionais. Ao longo de um dia intenso, fizemos uma dúzia de chamadas telefônicas reais, cerca de 25 entrevistas simuladas e um lote de testes não estruturados.

Estas são nossas primeiras impressões, com transcrições e áudio. Em breve, publicaremos uma análise mais aprofundada.

As transcrições são das nossas chamadas de teste, conforme transcritas pelo GPT-Live. Alteramos nomes e termos identificáveis, cortamos trechos de conversas e unimos fragmentos separados. Os registros de tempo, em segundos desde o início da chamada, são dos originais.

A naturalidade é excepcional

O GPT-Live-1 é o interlocutor mais natural que já colocamos em uma linha telefônica. É um avanço real.

Ele escuta e fala em um único fluxo contínuo de áudio, sem etapas separadas de transcrição e síntese. A maior parte da mecânica da conversa simplesmente funciona. Quem liga ouviu o primeiro áudio cerca de 1,3 segundo depois de parar de falar, na mediana, ou por volta de 0,7 segundo sem o trecho telefônico. Não adicionamos detecção de atividade de voz nem lógica de tomada de turno. Ele lida bem com interrupções, produz sinais de escuta naturais ("Uhum") e fala em um ritmo ágil, parecido com o de uma pessoa.

Quando recebe objetivos em vez de falas para ler, ele adapta as perguntas à conversa e aceita correções sem perder o ritmo:

Ele nunca perdeu a compostura diante de correções, interrupções ou de quem liga mudando suas respostas no meio da chamada. Se a naturalidade fosse o trabalho inteiro, este post terminaria aqui. Infelizmente, há mais do que isso.

Ele não segue instruções de forma confiável

O GPT-Live-1 não segue instruções de forma confiável nos comportamentos que importam para uma chamada telefônica com roteiro.

Mais de uma vez, ele respondeu a um "sim" claro como se a resposta tivesse sido "não", repetindo a pergunta ou seguindo adiante como se quem liga tivesse recusado.

A falha mais consistente foi levar as instruções ao pé da letra. Nosso prompt dizia: se quem liga disser que a situação de moradia registrada está errada, pergunte se ela possui, aluga ou mora com os pais. Uma pessoa disse "não, agora é minha", o que já responde à pergunta. Mesmo assim, o modelo leu o menu:

Algumas estranhezas iniciais foram culpa do nosso prompt, mas o literalismo se manteve em todas as variações de prompt que testamos. Qualquer resposta que não tivéssemos explicitado era tratada de forma mecânica, em vez de sensata.

Às vezes, ele também pensa em voz alta sob pressão:

Números e alfanuméricos são arriscados

Grafias, endereços, datas de nascimento e números de identificação precisam estar exatos. É nesse ponto que a fala do GPT-Live-1 apresenta mais problemas.

Ouvimos o modelo omitir e substituir caracteres em sequências alfanuméricas. Aqui, ele lê um número de sinistro inventado; os clipes não foram alterados, exceto pelo corte de silêncios. Em inglês, a transcrição estava correta, mas o áudio acrescentou um "Y":

Em russo, foi pior: o "Q" virou um "X" tanto no áudio quanto na transcrição.

Datas causaram o mesmo problema. Quem ligou informou uma data de nascimento em dígitos, que o modelo depois leu de volta como um número:

Ele também ocasionalmente fala uma linha que pertence a quem liga:

Sotaques em outros idiomas

Testamos novos modelos de voz nos 47 idiomas compatíveis com nosso produto. O russo do GPT-Live-1 era fluente, mas tinha um forte sotaque americano (enquanto as vozes de TTS que usamos em produção normalmente soam nativas):

Também testamos luganda. Na primeira chamada, ele respondeu em suaíli. Na segunda, falou luganda, de forma mais natural do que esperávamos de um modelo generalista, mas novamente com um forte sotaque americano. Não testamos todos os idiomas, mas esperamos que o padrão de sotaque provavelmente se repita. Isso não importa para um agente apenas em inglês, mas é uma ressalva bastante significativa para casos de uso em outros idiomas.

Algumas limitações da API que vale conhecer

Com base no que encontramos esta semana, algumas limitações da API são importantes para um agente real:

• As instruções são imutáveis após o início da sessão e têm limite de 16.384 tokens.
• O áudio de saída nunca para de ser transmitido — até o silêncio é transmitido — portanto, "áudio interrompido" não pode ser usado como sinal de fim de turno em casos de uso que precisam segmentar turnos.
• Ele só pode ser acessado pelo novo endpoint v1/live/sessions e ainda não estava disponível no Azure quando verificamos.

Nossa impressão até agora

Agentes telefônicos em produção precisam soar naturais e seguir roteiros de forma consistente. O GPT-Live-1 é incrível no primeiro ponto, mas apresenta alguns problemas sérios no segundo. Continuaremos realizando mais testes ao longo do tempo e relatando nossas descobertas.