技術
超越三階段管線。
大多數語音 AI 只靠一個語音轉錄模型、一個 LLM 和一個 TTS 模型,或單一語音轉語音模型運作。ThunderPhone 則會在每通電話中同時運行多個模型,讓它們彼此交叉檢查。
架構
其他技術堆疊遇上真實通話就失靈。
我們的架構始終穩定。
其他供應商採用三階段管線或語音轉語音模型,但兩者都會出錯,讓真實通話直接失敗。
每一步,都只能相信上一步
- 逐字稿只保留單一最佳判斷。一旦出錯,LLM 就無法挽回。
- 快速 LLM 容易出錯,謹慎推理的 LLM 則要等上數秒才會回答。
- 死板的輪流應答,讓對話顯得生硬。
聽起來自然,卻不一定照規則走
- 遵循指令、呼叫工具,都不夠可靠。
- 難以預測的行為,會為商務通話帶來風險。
- 有時聽得更準,但不總是如此。
多個模型,彼此交叉驗證
- 多個轉錄模型加上原始音訊,確保每位來電者都被正確聽懂。
- 快速模型與推理模型,逐輪切換。
- 由 Zeus 針對你的通話需求調校。
每通電話,多個模型協作
從多個角度聽懂,再整合判斷。
要讓通話穩定可靠,靠的遠不只三個模型。我們結合開源與商用模型,並針對能有效提升表現之處加以微調。
多個轉錄模型,加上原始音訊
我們會同時執行多個轉錄模型,也經常將音訊直接送進 LLM。
快速模型與推理模型
每一輪都會依據對話內容,決定該由哪個模型回應。
雜訊、說話者與對話輪次
用於處理雜訊、區分說話者,並判定每輪對話何時開始與結束的模型。
自然語音,可靠運作
我們讓語音對語音模型與輔助文字模型搭配運作。
三步驟流程 錯誤回應
ThunderPhone 一次就答對
準確度
經公開基準測試驗證。
Big Bench Audio 測試模型能否理解高難度的口語問題,並正確作答。
我們的評測
以真實通話為基礎的評測。
我們以真實通話資料,測試技術堆疊中每個環節的所有模型,而不是照單全收供應商的說法,並持續追蹤各模型的優缺點。這些實測訊號,就是 Zeus 為你決定配置的依據。
內部評測也將於近期釋出公開版本。
| 真實通話評測 | 模型 A | 模型 B |
|---|---|---|
| 辨識姓名與數字 | 較強 | 良好 |
| 簡短回覆(「對」、「不」) | 良好 | 較強 |
| 回應速度 | 較快 | 較慢 |
| 遵循長篇規則 | 較弱 | 較強 |
取捨
每通電話需要的配置都不一樣。Zeus 會決定怎麼搭配。
我們的架構就像一份模型選單,涵蓋聽辨、思考、接話時機與語音;每個環節都有不同選項,在準確度、速度與成本之間各有取捨。Zeus 會為你的通話挑選最佳配置。
| 牙科診所接待 | 外撥銷售 | |
|---|---|---|
| 聽辨 | 三套語音轉錄模型搭配音訊,辨識姓名、生日與保險號碼 | 一套針對簡短回覆調校的高速語音轉錄模型 |
| 思考 | 預約相關對話採用思考模型,閒聊則採用快速模型 | 大多數對話採用快速模型,讓銷售節奏持續推進 |
| 接話時機 | 耐心:來電者找卡片時,即使停頓也會耐心等候 | 俐落:潛在客戶一停下來,立刻接話 |
| 語音 | 穩定的語音,能清楚複誦數字 | 最自然的頂級語音 |
| 目標 | 成功完成預約,細節準確無誤 | 轉換價值扣除通話成本 |
以下僅為示意。Zeus 會依據你的實際通話與目標,逐一選定各項設定。
延遲
多數輪次都快速回應,關鍵時刻則審慎判斷。
有些對話輪次需要模型深入思考,因此得多花一點時間;大多數則能快速處理。ThunderPhone 會逐輪調整智慧層級,通常約 1.5 秒即可回應;必要時則會多花一些時間,避免出錯。其他語音人工智慧不會這麼做。
逐輪回應時間
真實通話
對話自然流暢,即使通話狀況再混亂。
來電者隨時插話、停頓或改變主意,對話依然順暢不中斷。ThunderPhone 正是為了應付那些會讓其他系統失靈的情況而打造。
說話含糊不清
交叉比對音訊與文字,不仰賴單一轉錄結果。
姓名與地址
交叉核對專有名詞、拼法、數字與更正內容。
通話音質不佳
在交給其他程序辨識前,先由降噪模型清理訊號。
背景交談
先辨識出旁人交談,避免語音智慧體受到干擾。
多語混用
來電者在通話中一換語言,語音智慧體就立即跟上。
插話與停頓
來電者插話時立即停下,略過「嗯哼」這類回應,並在對方停頓思考時耐心等候。
聲音
TTS 聲音各有取捨。Zeus 幫你選對聲音。
TTS 模型各有優勢與限制。Zeus 會依照你的通話需求,幫你選出最合適的模型。
| 平台級聲音 Inworld | 高階聲音 Cartesia | 高階聲音 ElevenLabs v4 Turbo | |
|---|---|---|---|
| 費用 | 近乎免費 | 每分鐘約多 2 美分 | 每分鐘約多 2 美分 |
| 穩定度 | |||
| 自然度 |
語言
來電者一換語言,通話中立即跟上。
語音智慧體聽得懂、也能說 62 種語言;來電者一切換,它就立即跟上。所有語言均不加價。