Bộ xác thực: phát lại lượt hội thoại từ cuộc gọi thực trước khi triển khai
Biến các khoảnh khắc từ cuộc gọi ThunderPhone thực thành ví dụ xác thực có thể tái sử dụng, xem lại hành vi mong đợi, phát lại chúng với bản nháp tác nhân AI và phát hiện hồi quy trước khi triển khai.
Một ví dụ xác thực đóng băng một lượt của tác nhân AI từ cuộc gọi thực: phần hội thoại dẫn đến lượt đó, âm thanh người gọi liên quan, những gì tác nhân AI thực sự đã làm và chuẩn đối chiếu về những gì tác nhân AI nên làm. Phát lại một tập đối chiếu với bản nháp hiện tại giúp phát hiện thoái lui mà không cần thực hiện thêm cuộc gọi.
Dùng trang Tập xác thực dùng chung cho toàn tổ chức
(/dashboard/validation) để xây dựng và xem xét tập dữ liệu. Dùng thẻ Xác thực
của từng tác nhân AI để chạy tập và kiểm tra lịch sử chạy.
Thêm ví dụ từ lịch sử cuộc gọi
- Chọn Thêm ví dụ
Chọn tác nhân AI có hành vi mà ví dụ cần xác thực. Không gian làm việc hiển thị tối đa 25 cuộc gọi không phải mô phỏng gần đây của tác nhân AI đó.
- Chọn một cuộc gọi và lượt của tác nhân AI
Đọc bản chép lời, di chuột qua lượt của tác nhân AI mà bạn muốn lưu lại và chọn thao tác danh sách kiểm. Phần hội thoại đến hết lượt đó và các đoạn âm thanh người gọi của lượt đó sẽ được sao chép vào tập dữ liệu xác thực.
- Xem xét kỳ vọng
ThunderPhone soạn bản nháp mô tả hành vi đúng. Chỉnh sửa để mô tả cụ thể và có thể kiểm tra, đồng thời có thể chỉnh sửa phản hồi ví dụ được chấp nhận và các lệnh gọi công cụ dự kiến.
- Lưu hoặc kích hoạt
Lưu bản nháp giữ ví dụ ở trạng thái Cần xem xét. Lưu và kích hoạt đưa ví dụ vào các lần chạy xác thực sau này.
Đưa cùng một lượt vào hai lần sẽ dùng lại ví dụ hiện có thay vì tạo hai bản sao.
Loại ví dụ và trạng thái
Loại mô tả lý do một ví dụ tồn tại:
| Loại | Mục đích sử dụng |
|---|---|
| Lỗi | Một phản hồi thực tế cho thấy hành vi bạn muốn ngăn chặn. |
| Chuẩn | Một phản hồi tốt đã được xác nhận và đáng lưu giữ. |
| Thủ công | Một trường hợp được tuyển chọn thủ công, không thuộc hai loại trên. |
Trạng thái kiểm soát vòng đời:
| Trạng thái | Ý nghĩa |
|---|---|
| Cần xem xét | Chuẩn đối chiếu vẫn đang được xem xét; không được đưa vào các lần chạy. |
| Đang hoạt động | Được đưa vào các lần chạy xác thực. |
| Lỗi thời | Prompt đã thay đổi kể từ khi ví dụ được đóng băng; hãy xem xét kỳ vọng của ví dụ. |
| Không tương thích | Không thể phát lại ví dụ với cấu hình hiện tại. |
| Đã lưu trữ | Được lưu cho mục đích lịch sử nhưng không được đưa vào các lần chạy. |
Duyệt và tinh chỉnh tập dữ liệu
Lọc tập dữ liệu của tổ chức theo tác nhân AI, trạng thái hoặc loại. Khi chọn một ví dụ, bạn sẽ thấy:
- Ngữ cảnh hội thoại đã đóng băng và các đoạn âm thanh người gọi có thể phát.
- Cuộc gọi nguồn và phản hồi gốc.
- Kỳ vọng chuẩn đối chiếu, phản hồi nói được chấp nhận và các lệnh gọi công cụ.
- Bản phát lại gần nhất bên cạnh hành vi gốc và hành vi dự kiến.
- Kết luận gần nhất và giải thích của bộ chấm điểm, khi có.
Chọn Chỉnh sửa chuẩn đối chiếu để sửa kỳ vọng hoặc phản hồi được chấp nhận. Chọn Phát lại với bản nháp để chỉ kiểm tra ví dụ đó mà không bắt đầu một lần chạy đầy đủ. Bản phát lại sử dụng bản nháp hiện tại của tác nhân AI, không nhất thiết là cấu hình đã triển khai của tác nhân AI đó.
Chạy một tập xác thực
Từ thẻ Xác thực của tác nhân AI, bắt đầu một lần chạy trên mọi ví dụ đang hoạt động. Mỗi ví dụ nhận một trong các kết luận sau:
- Đạt — phản hồi đáp ứng kỳ vọng và âm thanh người gọi.
- Cảnh báo — phản hồi có thể sử dụng nhưng một bước kiểm tra phát hiện điểm chưa chắc chắn.
- Không đạt — phản hồi mâu thuẫn với âm thanh hoặc thiếu hành vi bắt buộc.
- Bỏ qua — không thể tải âm thanh người gọi bắt buộc; ví dụ không được tính vào mẫu số tỷ lệ đạt.
- Lỗi — không thể hoàn tất phát lại hoặc chấm điểm.
Tóm tắt lần chạy báo cáo số lượng đạt, cảnh báo, không đạt và bỏ qua, tỷ lệ đạt, chi phí ước tính và mọi sự thoái lui từ đạt sang không đạt kể từ lần chạy hoàn tất trước đó. Mỗi tác nhân AI chỉ có thể có một lần chạy xác thực đang hoạt động tại một thời điểm.
Triển khai với bằng chứng xác thực
Khi một tác nhân AI có ví dụ xác thực, hộp thoại triển khai sẽ báo cáo liệu lần chạy hoàn tất gần nhất có khớp với bản nháp hiện tại hay không. Bạn có thể:
- Triển khai với tỷ lệ đạt và số lượng hồi quy hiển thị.
- Chạy xác thực trước nếu không có lần chạy khớp.
- Chủ động vẫn triển khai khi kết quả đã được xem xét.
Xác thực là bằng chứng và bước kiểm tra triển khai, không phải là cơ chế tự động chia lưu lượng production. Để so sánh trực tiếp, hãy dùng Thử nghiệm (kiểm thử A/B).
Tự động hóa API
API Bộ xác thực hỗ trợ đưa lượt hội thoại lên, quản lý ví dụ, phát trực tuyến âm thanh được ghim, phát lại riêng lẻ, chạy theo lô, kết quả chạy, trạng thái tại thời điểm triển khai và tổng quan về tổ chức.