Set validasi: putar ulang giliran percakapan nyata sebelum deployment
Ubah momen panggilan ThunderPhone nyata menjadi contoh validasi yang dapat digunakan kembali, tinjau perilaku yang diharapkan, putar ulang terhadap draf agen, dan tangkap regresi sebelum deployment.
Sebuah contoh validasi membekukan satu giliran agen dari panggilan nyata: percakapan yang mengarah ke giliran tersebut, audio penelepon yang relevan, tindakan agen yang sebenarnya, dan data acuan tentang tindakan yang seharusnya dilakukan. Memutar ulang satu set terhadap draf saat ini mendeteksi regresi tanpa melakukan panggilan lain.
Gunakan halaman Set validasi tingkat organisasi
(/dashboard/validation) untuk membuat dan meninjau dataset. Gunakan tab
Validasi agen individual untuk menjalankan set dan memeriksa riwayat proses.
Tambahkan contoh dari riwayat panggilan
- Pilih Tambahkan contoh
Pilih agen yang perilakunya harus divalidasi oleh contoh tersebut. Ruang kerja menampilkan hingga 25 panggilan terbaru non-simulasi untuk agen tersebut.
- Pilih panggilan dan giliran agen
Baca transkrip, arahkan kursor ke giliran agen yang ingin Anda pertahankan, lalu pilih tindakan daftar periksa. Percakapan hingga giliran tersebut dan rentang audio penelepon akan disalin ke dataset validasi.
- Tinjau ekspektasi
ThunderPhone membuat draf deskripsi perilaku yang benar. Edit agar spesifik dan dapat diuji, serta secara opsional edit respons contoh yang diterima dan panggilan alat yang diharapkan.
- Simpan atau aktifkan
Simpan draf mempertahankan contoh dalam status Perlu ditinjau. Simpan & aktifkan menyertakannya dalam proses validasi mendatang.
Mempromosikan giliran yang sama dua kali akan menggunakan kembali contoh yang ada, bukan membuat dua salinan.
Jenis dan status contoh
Jenis menjelaskan alasan sebuah contoh dibuat:
| Jenis | Penggunaan |
|---|---|
| Kegagalan | Respons nyata yang menunjukkan perilaku yang ingin Anda cegah. |
| Golden | Respons yang terbukti baik dan layak dipertahankan. |
| Manual | Kasus yang dikurasi secara manual dan tidak termasuk dalam kedua kategori tersebut. |
Status mengatur siklus hidup:
| Status | Arti |
|---|---|
| Perlu ditinjau | Data acuan masih ditinjau; tidak disertakan dalam proses. |
| Aktif | Disertakan dalam proses validasi. |
| Usang | Prompt telah berubah sejak contoh dibekukan; tinjau ekspektasinya. |
| Tidak kompatibel | Contoh tidak dapat diputar ulang dengan konfigurasi saat ini. |
| Diarsipkan | Dipertahankan untuk riwayat tetapi tidak disertakan dalam proses. |
Telusuri dan sempurnakan dataset
Filter dataset organisasi berdasarkan agen, status, atau jenis. Memilih sebuah contoh akan menampilkan:
- Konteks percakapan yang dibekukan dan rentang audio penelepon yang dapat diputar.
- Panggilan sumber dan respons asli.
- Ekspektasi data acuan, respons lisan yang diterima, dan panggilan alat.
- Pemutaran ulang terbaru di samping perilaku asli dan yang diharapkan.
- Putusan terbaru dan penjelasan penilai, jika tersedia.
Pilih Edit data acuan untuk merevisi ekspektasi atau respons yang diterima. Pilih Putar ulang terhadap draf untuk menguji hanya contoh tersebut tanpa memulai proses penuh. Pemutaran ulang menggunakan draf agen saat ini, yang belum tentu merupakan konfigurasi yang telah diterapkan.
Jalankan set validasi
Dari tab Validasi agen, mulai proses untuk setiap contoh aktif. Setiap contoh menerima salah satu putusan berikut:
- Lulus — respons memenuhi ekspektasi dan audio penelepon.
- Peringatan — respons dapat digunakan, tetapi satu pemeriksaan menemukan ketidakpastian.
- Gagal — respons bertentangan dengan audio atau tidak memenuhi perilaku yang diperlukan.
- Dilewati — audio penelepon yang diperlukan tidak dapat dimuat; tidak disertakan dalam penyebut tingkat kelulusan.
- Error — pemutaran ulang atau penilaian tidak dapat diselesaikan.
Ringkasan proses melaporkan jumlah lulus, peringatan, gagal, dan dilewati, tingkat kelulusan, perkiraan biaya, serta regresi apa pun dari lulus menjadi gagal sejak proses selesai sebelumnya. Hanya satu proses validasi per agen yang dapat aktif pada satu waktu.
Deploy dengan bukti validasi
Saat agen memiliki contoh validasi, dialog deployment melaporkan apakah proses selesai terbaru sesuai dengan draf saat ini. Anda dapat:
- Deploy dengan tingkat kelulusan dan jumlah regresi yang ditampilkan.
- Jalankan validasi terlebih dahulu jika tidak ada proses yang sesuai.
- Tetap lakukan deploy secara sengaja setelah hasilnya ditinjau.
Validasi adalah bukti dan pemeriksaan deployment, bukan pembagian traffic produksi otomatis. Untuk perbandingan langsung, gunakan Eksperimen (pengujian A/B).
Otomatisasi API
API Validation Sets mencakup promosi giliran, pengelolaan contoh, streaming audio yang dipin, replay individual, proses batch, hasil proses, status saat deployment, dan ringkasan organisasi.