驗證集:部署前重播真實通話回合

一個驗證範例會固定保留真實通話中的一個智能體回合:此前的對話、相關的來電者音訊、智能體實際執行的操作,以及其應執行操作的基準資料。針對目前草稿重播一組範例,可在無需再次撥打電話的情況下找出回歸問題。

使用全機構適用的驗證集頁面 (/dashboard/validation)建立及檢閱資料集。使用個別智能體的驗證分頁執行驗證集及查看執行記錄。

從通話記錄新增範例

  1. 選擇「新增範例」

    選擇此範例應驗證其行為的智能體。工作區會顯示該智能體最近最多 25 個非模擬通話。

  2. 選取通話及智能體回合

    閱讀逐字稿,將滑鼠移至你想保留的智能體回合,然後選取核對清單操作。該回合之前的對話及其來電者音訊片段會複製至驗證資料集。

  3. 覆核預期結果

    ThunderPhone 會草擬正確行為的描述。請編輯為具體且可測試的內容,並可選擇編輯已接受的範例回應及預期工具呼叫。

  4. 儲存或啟用

    儲存草稿會將範例保留於待覆核狀態。 儲存並啟用會將其納入日後的驗證執行。

重複加入同一回合時,系統會重用現有範例,而不會建立兩個副本。

範例種類及狀態

種類說明範例存在的原因:

種類用途
失敗揭示你想避免行為的真實回應。
黃金範例值得保留、已知表現良好的回應。
手動不屬於上述兩個類別的人手整理個案。

狀態控制生命週期:

狀態含義
待覆核基準資料仍在覆核中;不會納入執行。
啟用中納入驗證執行。
過時自範例固定保留後提示詞已有變更;請覆核其預期結果。
不相容無法使用目前設定重播此範例。
已封存為保留記錄而保存,但不會納入執行。

瀏覽及優化資料集

可按智能體狀態種類篩選機構資料集。選取範例後會顯示:

選擇編輯基準資料以修改預期結果或已接受的回應。 選擇針對草稿重播,即可只測試該範例而無需啟動完整執行。 重播會使用智能體目前的草稿,而不一定是其已部署設定。

執行驗證集

在智能體的驗證分頁中,針對每個啟用中的範例開始執行。每個 範例會獲得以下其中一項判定:

執行摘要會報告通過、警告、失敗及略過的數量、通過率、預計成本,以及自上一次完成執行以來由通過變為失敗的任何回歸問題。每個智能體同一時間只能有一項驗證執行處於啟用狀態。

以驗證證據部署

當智能體設有驗證範例時,部署對話框會顯示最近完成的執行結果是否與目前草稿相符。你可以:

驗證提供證據及部署檢查,並非自動分流正式環境流量。如要進行即時比較,請使用 實驗(A/B 測試)

API 自動化

驗證集 API涵蓋提升通話回合、管理範例、串流固定音訊、個別重播、批次執行、執行結果、部署時狀態,以及組織概覽。