ThunderPhone v3 正式上線,搭載專為語音智慧體打造的 AI 測試框架 Zeus。閱讀發布專文

技術

超越三階段管線。

大多數語音 AI 只靠一個語音轉錄模型、一個 LLM 和一個 TTS 模型,或單一語音轉語音模型運作。ThunderPhone 則會在每通電話中同時運行多個模型,讓它們彼此交叉檢查。

架構

其他技術堆疊遇上真實通話就失靈。
我們的架構始終穩定。

其他供應商採用三階段管線或語音轉語音模型,但兩者都會出錯,讓真實通話直接失敗。

三階段管線

每一步,都只能相信上一步

  • 逐字稿只保留單一最佳判斷。一旦出錯,LLM 就無法挽回。
  • 快速 LLM 容易出錯,謹慎推理的 LLM 則要等上數秒才會回答。
  • 死板的輪流應答,讓對話顯得生硬。
語音轉語音

聽起來自然,卻不一定照規則走

  • 遵循指令、呼叫工具,都不夠可靠。
  • 難以預測的行為,會為商務通話帶來風險。
  • 有時聽得更準,但不總是如此。
ThunderPhone

多個模型,彼此交叉驗證

  • 多個轉錄模型加上原始音訊,確保每位來電者都被正確聽懂。
  • 快速模型與推理模型,逐輪切換。
  • 由 Zeus 針對你的通話需求調校。

每通電話,多個模型協作

從多個角度聽懂,再整合判斷。

要讓通話穩定可靠,靠的遠不只三個模型。我們結合開源與商用模型,並針對能有效提升表現之處加以微調。

聽辨

多個轉錄模型,加上原始音訊

我們會同時執行多個轉錄模型,也經常將音訊直接送進 LLM。

推理

快速模型與推理模型

每一輪都會依據對話內容,決定該由哪個模型回應。

對話

雜訊、說話者與對話輪次

用於處理雜訊、區分說話者,並判定每輪對話何時開始與結束的模型。

具備備援的語音對語音架構

自然語音,可靠運作

我們讓語音對語音模型與輔助文字模型搭配運作。

三步驟流程 錯誤回應

來電者「I rent.」(含糊地說)
轉錄結果「I’m Brent.」
智慧體「嗨,Brent。我能怎麼幫你?」

ThunderPhone 一次就答對

來電者「I rent.」(含糊地說)
佐證三份轉錄結果與原始音訊。三條判讀路徑中,有兩條結果一致:「I rent」。
智慧體「了解,你是說『我租屋』。」

準確度

經公開基準測試驗證。

Big Bench Audio 測試模型能否理解高難度的口語問題,並正確作答。

99.4%於 Big Bench Audio 測得。在已公布的成績中排名第二;在所有速度足以支援即時通話的模型中,則排名第一。Hugging Face 上的資料集 ↗

我們的評測

以真實通話為基礎的評測。

我們以真實通話資料,測試技術堆疊中每個環節的所有模型,而不是照單全收供應商的說法,並持續追蹤各模型的優缺點。這些實測訊號,就是 Zeus 為你決定配置的依據。

內部評測也將於近期釋出公開版本。

真實通話評測模型 A模型 B
辨識姓名與數字較強良好
簡短回覆(「對」、「不」)良好較強
回應速度較快較慢
遵循長篇規則較弱較強

取捨

每通電話需要的配置都不一樣。Zeus 會決定怎麼搭配。

我們的架構就像一份模型選單,涵蓋聽辨、思考、接話時機與語音;每個環節都有不同選項,在準確度、速度與成本之間各有取捨。Zeus 會為你的通話挑選最佳配置。

牙科診所接待外撥銷售
聽辨三套語音轉錄模型搭配音訊,辨識姓名、生日與保險號碼一套針對簡短回覆調校的高速語音轉錄模型
思考預約相關對話採用思考模型,閒聊則採用快速模型大多數對話採用快速模型,讓銷售節奏持續推進
接話時機耐心:來電者找卡片時,即使停頓也會耐心等候俐落:潛在客戶一停下來,立刻接話
語音穩定的語音,能清楚複誦數字最自然的頂級語音
目標成功完成預約,細節準確無誤轉換價值扣除通話成本

以下僅為示意。Zeus 會依據你的實際通話與目標,逐一選定各項設定。

延遲

多數輪次都快速回應,關鍵時刻則審慎判斷。

有些對話輪次需要模型深入思考,因此得多花一點時間;大多數則能快速處理。ThunderPhone 會逐輪調整智慧層級,通常約 1.5 秒即可回應;必要時則會多花一些時間,避免出錯。其他語音人工智慧不會這麼做。

逐輪回應時間

約 1.5 秒報價規範查核
快速模型推理模型

真實通話

對話自然流暢,即使通話狀況再混亂。

來電者隨時插話、停頓或改變主意,對話依然順暢不中斷。ThunderPhone 正是為了應付那些會讓其他系統失靈的情況而打造。

聽辨

說話含糊不清

交叉比對音訊與文字,不仰賴單一轉錄結果。

聽辨

姓名與地址

交叉核對專有名詞、拼法、數字與更正內容。

音訊

通話音質不佳

在交給其他程序辨識前,先由降噪模型清理訊號。

音訊

背景交談

先辨識出旁人交談,避免語音智慧體受到干擾。

語言

多語混用

來電者在通話中一換語言,語音智慧體就立即跟上。

對話輪替

插話與停頓

來電者插話時立即停下,略過「嗯哼」這類回應,並在對方停頓思考時耐心等候。

聲音

TTS 聲音各有取捨。Zeus 幫你選對聲音。

TTS 模型各有優勢與限制。Zeus 會依照你的通話需求,幫你選出最合適的模型。

平台級聲音 Inworld高階聲音 Cartesia高階聲音 ElevenLabs v4 Turbo
費用近乎免費每分鐘約多 2 美分每分鐘約多 2 美分
穩定度
自然度

語言

來電者一換語言,通話中立即跟上。

語音智慧體聽得懂、也能說 62 種語言;來電者一切換,它就立即跟上。所有語言均不加價。

AfrikaansArabicArmenianAssameseAzerbaijaniBengaliBosnianBulgarianCantoneseCatalanChineseCroatianCzechDanishDutchEnglishEstonianFilipinoFinnishFrenchGalicianGermanGreekGujaratiHebrewHindiHungarianIcelandicIndonesianItalianJapaneseKannadaKazakhKoreanLatvianLithuanianMacedonianMalayMalayalamMarathiNepaliNorwegianOdiaPersianPolishPortuguesePunjabiRomanianRussianSerbianSlovakSlovenianSpanishSwahiliSwedishTamilTeluguThaiTurkishUkrainianUrduVietnamese

就用最棘手的通話來試試。

免費開始使用,並獲得 $10 通話額度。無須信用卡。