음성 에이전트를 위한 GPT-Live-1 API에 대한 첫인상

OpenAI는 이틀 전 새로운 풀 듀플렉스 음성 모델인 GPT-Live-1을 API로 출시했습니다. 저희는 실제 운영 환경에서 AI 전화 에이전트를 구축하고 운영하므로, 실제 전화번호에 연결해 여러 차례 통화해 보았습니다.

보험 고객사 중 한 곳의 약 13,000토큰 분량의 웜 리드 적격성 확인 스크립트로 테스트했습니다. 여기에는 반드시 원문 그대로 읽어야 하는 문구, 엄격한 재확인 규칙, 분기형 후속 질문이 포함되어 있었습니다. 긴 하루 동안 실제 전화 통화 12건, 모의 인터뷰 약 25건, 비정형 테스트 묶음을 진행했습니다.

다음은 대화 기록과 오디오를 포함한 첫인상입니다. 더 자세한 분석은 곧 공개하겠습니다.

대화 기록은 GPT-Live가 전사한 테스트 통화 내용입니다. 이름과 식별 가능한 표현은 변경했고, 일부 대화는 줄였으며, 나뉜 조각은 합쳤습니다. 타임스탬프는 통화 시작 후 초 단위이며 원본 기준입니다.

자연스러움은 탁월합니다

GPT-Live-1은 저희가 전화선에 연결해 본 대화형 모델 중 가장 자연스럽게 들립니다. 분명한 진전입니다.

별도의 전사와 음성 합성 단계를 거치지 않고 하나의 연속된 오디오 스트림에서 듣고 말합니다. 대화의 기본 동작 대부분이 자연스럽게 작동합니다. 발신자가 말을 멈춘 뒤 첫 음성이 들리기까지 걸린 시간의 중앙값은 약 1.3초였고, 전화 구간을 제외하면 약 0.7초였습니다. 음성 활동 감지나 턴 전환 로직은 추가하지 않았습니다. 끼어들기에도 자연스럽게 대응하고, 자연스러운 맞장구("음-흠")를 치며, 경쾌하고 사람 같은 속도로 말합니다.

읽을 대사가 아니라 목표를 주면 대화에 맞춰 질문을 조정하고, 수정 사항도 자연스럽게 반영합니다.

수정, 끼어들기, 통화 도중 답변을 바꾸는 상황에서도 침착함을 잃지 않았습니다. 자연스러움만이 전부였다면 이 글은 여기서 끝났을 것입니다. 하지만 안타깝게도 그보다 고려할 점이 더 많습니다.

지시를 안정적으로 이행하지 못합니다

GPT-Live-1은 스크립트 기반 전화 통화에서 중요한 행동에 관한 지시를 안정적으로 이행하지 못합니다.

분명한 "예"라는 답변을 "아니요"로 받아들여 질문을 다시 하거나, 발신자가 거절한 것처럼 다음 단계로 넘어간 경우가 여러 번 있었습니다.

가장 일관되게 나타난 실패는 지시를 지나치게 문자 그대로 따르는 것이었습니다. 저희 프롬프트에는 기록된 주거 상태가 틀리다고 발신자가 말하면, 주택을 소유하는지, 임차하는지, 부모님과 함께 사는지를 물으라고 되어 있었습니다. 발신자는 이미 그 질문에 답하는 "아니요, 이제는 소유하고 있습니다"라고 말했습니다. 그런데도 모델은 그대로 메뉴를 읽었습니다.

초기 이상 동작 중 일부는 저희 프롬프트 탓이었지만, 이런 문자주의는 시도한 모든 프롬프트 변형에서 유지되었습니다. 명시하지 않은 답변은 합리적으로 처리되지 않고 기계적으로 처리되었습니다.

압박을 받으면 가끔 생각을 소리 내어 말하기도 합니다.

숫자와 영숫자는 위험합니다

철자, 주소, 생년월일, ID 번호는 정확해야 합니다. GPT-Live-1의 발화는 이 부분에서 가장 많은 문제를 보입니다.

영숫자 문자열에서 문자가 누락되거나 다른 문자로 대체되는 현상을 확인했습니다. 아래에서는 임의로 만든 청구 번호를 읽습니다. 무음 구간을 자른 것 외에는 클립을 수정하지 않았습니다. 영어에서는 트랜스크립트가 정확했지만, 오디오에는 "Y"가 추가되었습니다.

러시아어에서는 더 심했습니다. 오디오와 트랜스크립트 모두에서 "Q"가 "X"로 바뀌었습니다.

날짜에서도 같은 문제가 발생했습니다. 발신자가 생년월일을 숫자로 말했지만, 모델은 나중에 이를 하나의 숫자로 다시 읽었습니다.

또한 가끔 발신자가 말해야 할 대사를 에이전트가 말하기도 합니다.

다른 언어의 억양

저희는 제품이 지원하는 47개 언어 전반에서 새 음성 모델을 테스트합니다. GPT-Live-1의 러시아어는 유창했지만 미국식 억양이 강했습니다. 반면 저희가 프로덕션에서 사용하는 TTS 음성은 일반적으로 원어민처럼 들립니다.

루간다어도 시도했습니다. 첫 번째 통화에서는 대신 스와힐리어로 답했습니다. 두 번째 통화에서는 루간다어를 구사했고, 범용 모델에 기대했던 것보다 자연스러웠지만 다시 미국식 억양이 강했습니다. 모든 언어를 테스트하지는 않았지만, 이런 억양 패턴이 대체로 나타날 것으로 예상합니다. 영어 전용 에이전트에는 문제가 되지 않지만, 다른 언어를 사용하는 사례에서는 상당히 중요한 주의 사항입니다.

알아둘 만한 몇 가지 API 제약 사항

이번 주에 확인한 내용을 바탕으로, 실제 에이전트에서는 몇 가지 API 제약 사항이 중요합니다.

• 세션이 시작된 후에는 지시를 변경할 수 없으며, 최대 16,384토큰으로 제한됩니다.
• 출력 오디오는 스트리밍을 멈추지 않습니다 — 무음도 스트리밍됩니다 — 따라서 턴을 분할해야 하는 사용 사례에서는 "오디오 중지"를 턴 종료 신호로 사용할 수 없습니다.
• 새로운 v1/live/sessions 엔드포인트를 통해서만 접근할 수 있으며, 확인 당시에는 Azure에서 아직 사용할 수 없었습니다.

현재까지의 인상

프로덕션 전화 에이전트는 자연스럽게 들리고 스크립트를 일관되게 따라야 합니다. GPT-Live-1은 전자에서는 놀랍지만, 후자에서는 몇 가지 심각한 문제가 있습니다. 시간이 지나면서 더 많은 테스트를 진행하고, 확인한 결과를 계속 공유하겠습니다.