ThunderPhone 출시를 발표합니다

오늘, AI로 전화 통화를 쉽게 자동화할 수 있는 ThunderPhone의 공개 출시를 자랑스럽게 발표합니다. 다른 전화 AI 플랫폼과는 완전히 다른 통합 아키텍처를 갖춘 ThunderPhone은 훨씬 높은 성능, 더 낮은 비용, 더 적은 통합 관련 골칫거리를 제공합니다. ThunderPhone은 수십 개 언어의 수신 및 발신 통화를 지원하며 HIPAA 및 GDPR을 준수합니다.

통합의 장점

다른 전화 AI 플랫폼은 시스템에 3단계 구조를 강제하여 성능을 제한합니다.

1. 사용자 음성을 텍스트로 변환하는 하나의 전사 모델
2. 사용자 텍스트를 처리하고 응답을 출력하는 하나의 LLM
3. 응답 텍스트를 다시 오디오로 변환하는 하나의 TTS 모델

대부분의 플랫폼은 사용자에게 사용할 모델을 선택하도록 강제할 뿐 아니라, 노이즈 제거 및 응답성 매개변수 같은 구성 옵션까지 선택하게 하여 엔지니어링 작업을 사용자에게 떠넘깁니다.

저희는 다른 접근 방식을 택했습니다. 현재의 모델로 저희가 생각하는 최선의 스택을 구성하고, 복잡한 구성 작업 없이 바로 사용할 수 있도록 준비했습니다. 저희 시스템은 여러 모델을 동시에 사용하며, 대화 흐름에 따라 시스템이 모델 간 경로를 지능적으로 선택합니다. 여기에는 다음이 포함됩니다.

• 더 빠른 모델과 더 정확한 모델 등 여러 전사 모델을 결합하여 속도와 정확도의 균형을 맞추고 서로의 오류를 보완합니다.
• 범용 지능은 낮을 수 있지만 오디오 이해력이 더 뛰어난 오디오 입력 LLM과, 부정확한 전사로 인해 실수할 수 있지만 대체로 더 똑똑한 텍스트 전용 LLM을 결합합니다.
• 빠른 응답을 생성할 수 있는 빠르지만 단순한 LLM과, 백그라운드에서 실행되며 AI가 프롬프트를 따르고 사용자의 말에 정확히 응답하는지 확인할 수 있는 훨씬 더 똑똑하지만 느린 LLM을 결합합니다.
• 현재 이용 가능한 최고 수준의 지능을 제공하는 OpenAI와 Google을 비롯한 주요 제공업체의 상용 모델과, 더 낮은 비용으로 더 나은 속도를 제공하는 경우가 많은 다양한 오픈 소스 모델을 결합합니다.
• 여러 모델을 동시에 사용하여 배경 소음, 주변 대화, 그리고 대화를 방해할 수 있는 기타 산만한 소음을 분류하고 제거합니다.

이러한 구성 요소와 그 외 요소들은 세 가지 서비스 등급인 Spark, Bolt, Storm에서 서로 다른 방식으로 조율됩니다. Spark는 비용에, Bolt는 속도에, Storm은 지능에 최적화하면서 각각의 단점을 최대한 줄입니다. 세 시스템 모두 고유명사와 철자를 포함해 사용자가 말하는 내용을 놀랄 만큼 정확하게 이해한다는 장점을 공유합니다.

저희는 이러한 긴밀히 통합된 아키텍처가 다른 제공업체가 제시하는 경직된 3단계 방식보다 더 낮은 비용으로 훨씬 높은 성능을 제공한다고 생각합니다. Clay Christensen의 모듈화 이론에 따르면, 음성 AI는 아직 초기 단계이며 모듈형 아키텍처로 맞춤 설정 가능성을 극대화하는 것보다 통합 아키텍처로 성능을 극대화하는 것이 여전히 더 가치 있습니다.

최적화된 의사결정

맞춤 설정 가능성에 관해서는, 저희는 반대합니다! 오늘날 대부분의 전화 AI 플랫폼은 사용자가 끝없는 선택지를 헤쳐 나가도록 만듭니다. 사용되는 정확한 모델부터 AI가 사용자의 말을 얼마나 빨리 끼어들지와 같은 지나치게 세부적인 매개변수까지 말입니다.

저희는 이러한 선택을 백그라운드에서 최적화하는 것이 저희의 일이라고 생각합니다. 그래야 ThunderPhone 사용자는 자신이 잘하는 일에 집중하고 세부적인 음성 AI 구성에 대해 걱정하지 않아도 됩니다. 저희는 일종의 Squarespace처럼, 사용자가 손 하나 까딱하지 않고도 오늘날의 모델로 가능한 최고 성능의 전화 에이전트를 쉽게 설정할 수 있도록 돕고자 합니다.

사용 편의성

ThunderPhone은 새 전화 에이전트를 설정할 때뿐 아니라 다른 플랫폼이나 자체 구축 스택에서 이전할 때도 매우 쉽게 사용할 수 있습니다. ThunderPhone에서 전화 에이전트를 설정하려면 다음만 하면 됩니다.

1. Spark, Bolt, Storm 중 어떤 것을 사용할지 결정합니다.
2. 음성을 선택합니다.
3. 프롬프트를 제공해 주세요. 여러 개의 프롬프트를 사용하는 에이전트는 필요 없습니다! 프롬프트가 Spark 또는 Bolt로 처리하기에 너무 복잡하다면, 단일 프롬프트로 복잡한 사용 사례까지 처리할 수 있는 Storm으로 업그레이드하세요.
4. 매우 사용하기 쉬운 마법사를 통해 소프트웨어 통합(모든 엔드포인트 또는 기본 n8n 통합)을 연결합니다.
5. 매우 사용하기 쉬운 마법사를 통해 VoIP를 연결합니다.

이 모든 과정은 일반적으로 10분 이내에 완료됩니다.

ThunderPhone은 HIPAA 및 GDPR을 준수하며, 요청 시 BAA 및 DPA를 체결하고 제공합니다.

우리의 이야기

저희는 Stanford AI Lab과 Y Combinator 출신으로 구성된 팀으로, 2024년부터 음성 AI를 개발해 왔습니다. 처음에는 언어 간 전화 통화를 번역하는 Flux Interpreting에 집중했습니다. 하지만 고객들로부터 단순히 전화 통화를 번역하는 것을 넘어 비즈니스 전화 업무를 자동화해 달라는 요청을 반복해서 받으면서, 현재의 ThunderPhone으로 방향을 전환했습니다.

기존 플랫폼의 문제점

처음에는 다른 회사의 전화 AI 플랫폼에서 고객을 위한 전화 에이전트를 구축하기 시작했습니다. 시중의 거의 모든 전화 AI 플랫폼을 테스트했지만, 안타깝게도 여러 측면에서 부족함을 확인했습니다. 특히 다음과 같은 부분이 문제였습니다.

• 오디오 이해: 사용자 오디오를 텍스트로 변환하는 전사 모델이 하나뿐이라는 한계 때문에, AI는 특히 고유명사, 흔치 않은 단어, 철자를 자주 “잘못 들었습니다”.
• 지시 이행: 통화의 실제 “두뇌 역할”을 단일 고속 LLM이 수행하다 보니, AI가 지시를 정확히 따르지 못하고 엉뚱한 방향으로 흐르는 경우가 많았습니다.
• 어려운 통합: 저희가 사용해 본 플랫폼들은 외부 소프트웨어 연결을 매우 어렵게 만들었습니다. 대체로 도구 호출을 위해 방대한 JSON 설정을 직접 입력하고, 제대로 작동할 때까지 피드백도 거의 없이 반복해서 테스트해야 했습니다.
• 가격: 기존 플랫폼은 대체로 성능이 그저 그런 데도 지나치게 높은 가격을 책정했습니다. 보통 분당 10센트 이상이었습니다.

자체 스택 구축

엔터프라이즈 고객을 위한 영업 통화 사용 사례를 구현하는 계약을 체결했을 때, 고객의 요구를 충족하기 위해 자체 맞춤형 스택을 구축할 수밖에 없었습니다. 이 사용 사례는 까다로웠습니다. 고객 지원에서는 발신자가 대체로 기업의 대응에 의존하는 반면, 영업 통화의 발신자는 금방 전화를 끊기 때문입니다.

리드를 잃지 않고 영업을 성사시키려면 통화 품질이 최고 수준이어야 했습니다. 즉, 표준 전사 모델이 정확히 처리하기 어려운 이름과 주소를 비롯해 수많은 고유명사와 철자를 다뤄야 했습니다. 이 사용 사례를 제대로 해결하기 위해 현재의 ThunderPhone을 구축했습니다.

그 과정에서 샌프란시스코 음성 AI 커뮤니티에서 수의사, 트럭 운전사 등 다양한 분야를 위한 버티컬 전화 에이전트 회사를 만드는 사람들을 계속 만났습니다. 놀랍게도 대부분은 같은 의견을 갖고 있었습니다. 기존 플랫폼은 데모용으로는 충분하지만, 프로덕션 환경에는 적합하지 않다는 것이었습니다.

놀랍게도, 버티컬 음성 AI 회사에 있는 저희 친구들 중 상당수, 어쩌면 대부분이 실제로 자체 스택을 “직접 구축”하고 있었습니다... 저희에게는 전혀 이해되지 않았습니다. 이는 90년대 웹 스타트업이 옷장 안의 서버에서 자체 웹 서버를 운영해야 했던 것과 사실상 같습니다.

이러한 통찰을 통해, 저희는 전화 AI 시스템을 누구나 사용할 수 있는 플랫폼으로 전환할 때가 되었다고 깨달았습니다.

버티컬 음성 AI 기업과 컨설턴트는 업계별 전문성을 활용해 목표 시장의 요구를 충족하는 데 집중할 수 있어야 합니다. 기반이 되는 AI와 전화 기술을 복잡하게 엔지니어링하는 데 집중해서는 안 됩니다! 이것이 바로 오늘 ThunderPhone과 함께 출시하는 것입니다.

여기까지 오는 길은 길었습니다! 지난 4월부터 저희에게 가입했지만 아직 액세스를 기다리고 계신 모든 분께 사과드립니다. 빠르게 마무리할 수 있는 작업이라고 생각했던 일이, 오늘날 이용 가능한 모델들을 가능한 한 견고한 시스템으로 엮는 방법을 알아내는 수개월간의 여정이 되었습니다.

하지만 이제 마침내 서비스를 시작했습니다. 직접 사용해 보시고 어떻게 생각하시는지 알려 주세요!

주요 문제는 해결했지만, 시스템에는 아직 버그가 남아 있을 수 있습니다. 이슈를 발견하시면 alex@thunderphone.com으로 이메일을 보내 주세요. 최대한 신속하게 수정해 드리겠습니다. 기능 요청이 있으시면 함께 알려 주세요. 가능한 한 빠르게 구현해 드리겠습니다.

맞춤형 구현 및 통합 지원, 일반적인 HIPAA 및 GDPR을 넘어서는 컴플라이언스, SLA, 맞춤형 기능 요청 등 더 특별한 요구 사항이 있으시다면 엔터프라이즈 계약에 대해서도 기꺼이 논의하겠습니다. alex@thunderphone.com으로 연락해 주시면 요구 사항을 검토하고 저희가 도움을 드릴 수 있는지 함께 이야기하겠습니다.

더 일반적으로 말씀드리면, 저희는 여러분이 최소한의 노력만으로 ThunderPhone을 바로 사용할 수 있도록 하고, 선택하시는 Spark, Bolt 또는 Storm의 가격 범위 안에서 오늘날의 AI로 가능한 한 완벽하게 비즈니스 통화를 처리하도록 만드는 일을 저희의 책임으로 생각합니다. 직접 사용해 보시고, ThunderPhone이 할 수 있는 일을 보여 드릴 수 있기를 기대합니다.

어떻게 생각하시는지 알려 주시고, 지원해 주셔서 감사합니다!