驗證集:部署前重播真實通話回合
一個驗證範例會固定保留真實通話中的一個智能體回合:此前的對話、相關的來電者音訊、智能體實際執行的操作,以及其應執行操作的基準資料。針對目前草稿重播一組範例,可在無需再次撥打電話的情況下找出回歸問題。
使用全機構適用的驗證集頁面
(/dashboard/validation)建立及檢閱資料集。使用個別智能體的驗證分頁執行驗證集及查看執行記錄。
從通話記錄新增範例
- 選擇「新增範例」
選擇此範例應驗證其行為的智能體。工作區會顯示該智能體最近最多 25 個非模擬通話。
- 選取通話及智能體回合
閱讀逐字稿,將滑鼠移至你想保留的智能體回合,然後選取核對清單操作。該回合之前的對話及其來電者音訊片段會複製至驗證資料集。
- 覆核預期結果
ThunderPhone 會草擬正確行為的描述。請編輯為具體且可測試的內容,並可選擇編輯已接受的範例回應及預期工具呼叫。
- 儲存或啟用
儲存草稿會將範例保留於待覆核狀態。 儲存並啟用會將其納入日後的驗證執行。
重複加入同一回合時,系統會重用現有範例,而不會建立兩個副本。
範例種類及狀態
種類說明範例存在的原因:
| 種類 | 用途 |
|---|---|
| 失敗 | 揭示你想避免行為的真實回應。 |
| 黃金範例 | 值得保留、已知表現良好的回應。 |
| 手動 | 不屬於上述兩個類別的人手整理個案。 |
狀態控制生命週期:
| 狀態 | 含義 |
|---|---|
| 待覆核 | 基準資料仍在覆核中;不會納入執行。 |
| 啟用中 | 納入驗證執行。 |
| 過時 | 自範例固定保留後提示詞已有變更;請覆核其預期結果。 |
| 不相容 | 無法使用目前設定重播此範例。 |
| 已封存 | 為保留記錄而保存,但不會納入執行。 |
瀏覽及優化資料集
可按智能體、狀態或種類篩選機構資料集。選取範例後會顯示:
- 已固定保留的對話內容及可播放的來電者音訊片段。
- 來源通話及原始回應。
- 基準預期、已接受的語音回應及工具呼叫。
- 最新重播結果,以及原始及預期行為。
- 最新判定及評審解釋(如有)。
選擇編輯基準資料以修改預期結果或已接受的回應。 選擇針對草稿重播,即可只測試該範例而無需啟動完整執行。 重播會使用智能體目前的草稿,而不一定是其已部署設定。
執行驗證集
在智能體的驗證分頁中,針對每個啟用中的範例開始執行。每個 範例會獲得以下其中一項判定:
- 通過——回應符合預期結果及來電者音訊。
- 警告——回應可用,但有一項檢查發現不確定性。
- 失敗——回應與音訊矛盾,或未達成必要行為。
- 略過——無法載入所需的來電者音訊;不會計入通過率分母。
- 錯誤——無法完成重播或評分。
執行摘要會報告通過、警告、失敗及略過的數量、通過率、預計成本,以及自上一次完成執行以來由通過變為失敗的任何回歸問題。每個智能體同一時間只能有一項驗證執行處於啟用狀態。
以驗證證據部署
當智能體設有驗證範例時,部署對話框會顯示最近完成的執行結果是否與目前草稿相符。你可以:
- 按顯示的通過率及迴歸數量部署。
- 如沒有相符的執行結果,先執行驗證。
- 在審閱結果後,選擇仍然部署。
驗證提供證據及部署檢查,並非自動分流正式環境流量。如要進行即時比較,請使用 實驗(A/B 測試)。
API 自動化
驗證集 API涵蓋提升通話回合、管理範例、串流固定音訊、個別重播、批次執行、執行結果、部署時狀態,以及組織概覽。