Doğrulama setleri: yayına almadan önce gerçek çağrı turlarını yeniden oynatın
Gerçek ThunderPhone çağrı anlarını yeniden kullanılabilir doğrulama örneklerine dönüştürün, beklenen davranışı gözden geçirin, bunları bir yapay zeka ajanı taslağına karşı yeniden oynatın ve yayına almadan önce regresyonları yakalayın.
Bir doğrulama örneği, gerçek bir aramadan tek bir ajan dönüşünü sabitler: ona kadar gelen konuşma, ilgili arayan ses kaydı, ajanın gerçekte ne yaptığı ve yapması gerekenlere ilişkin temel doğruluk bilgisi. Bir kümeyi mevcut taslağa karşı yeniden oynatmak, başka bir arama yapmadan gerilemeleri yakalar.
Veri kümesini oluşturmak ve incelemek için kuruluş genelindeki Doğrulama kümeleri sayfasını
(/dashboard/validation) kullanın. Kümeyi çalıştırmak ve çalışma geçmişini incelemek için
tek tek ajanların Doğrulama sekmesini kullanın.
Arama geçmişinden örnek ekleme
- Örnek ekle'yi seçin
Örneğin davranışını doğrulaması gereken ajanı seçin. Çalışma alanı, bu ajan için en fazla 25 yakın tarihli simülasyon dışı aramayı gösterir.
- Bir arama ve ajan dönüşü seçin
Transkripti okuyun, korumak istediğiniz ajan dönüşünün üzerine gelin ve kontrol listesi eylemini seçin. Bu dönüşe kadarki konuşma ve arayanın ses aralıkları doğrulama veri kümesine kopyalanır.
- Beklentiyi gözden geçirin
ThunderPhone doğru davranışın bir açıklamasını taslak olarak oluşturur. Açıklamayı belirli ve test edilebilir olacak şekilde düzenleyin; isteğe bağlı olarak kabul edilen örnek yanıtı ve beklenen araç çağrılarını da düzenleyin.
- Kaydedin veya etkinleştirin
Taslağı kaydet, örneği İnceleme gerekli durumunda bırakır. Kaydet ve etkinleştir, örneği gelecekteki doğrulama çalıştırmalarına dahil eder.
Aynı dönüşü iki kez öne çıkarmak, iki kopya oluşturmak yerine mevcut örneği yeniden kullanır.
Örnek türleri ve durumları
Türler, bir örneğin neden var olduğunu açıklar:
| Tür | Kullanım |
|---|---|
| Başarısızlık | Önlemek istediğiniz davranışı ortaya çıkaran gerçek bir yanıt. |
| Altın standart | Korunmaya değer, doğruluğu bilinen bir yanıt. |
| Manuel | Bu kategorilerin hiçbirine girmeyen, manuel olarak düzenlenmiş bir durum. |
Durumlar yaşam döngüsünü kontrol eder:
| Durum | Anlamı |
|---|---|
| İnceleme gerekli | Temel doğruluk bilgisi hâlâ inceleniyor; çalıştırmalara dahil edilmez. |
| Etkin | Doğrulama çalıştırmalarına dahil edilir. |
| Güncelliğini yitirmiş | Örnek sabitlendikten sonra istem değişti; beklentisini gözden geçirin. |
| Uyumsuz | Örnek mevcut yapılandırmayla yeniden oynatılamaz. |
| Arşivlenmiş | Geçmiş için korunur ancak çalıştırmalara dahil edilmez. |
Veri kümesini görüntüleyin ve iyileştirin
Kuruluş veri kümesini ajan, durum veya tür ölçütüne göre filtreleyin. Bir örnek seçildiğinde şunlar gösterilir:
- Sabitlenmiş konuşma bağlamı ve oynatılabilir arayan ses aralıkları.
- Kaynak arama ve özgün yanıt.
- Temel doğruluk beklentisi, kabul edilen konuşmalı yanıt ve araç çağrıları.
- Özgün ve beklenen davranışın yanında en son yeniden oynatma.
- Varsa en son karar ve değerlendirici açıklamaları.
Beklentiyi veya kabul edilen yanıtı değiştirmek için Temel doğruluğu düzenle seçeneğini belirleyin. Tam bir çalıştırma başlatmadan yalnızca bu örneği test etmek için Taslağa karşı yeniden oynat seçeneğini belirleyin. Yeniden oynatmalar, ajanın yayına alınmış yapılandırmasını değil, mevcut taslağını kullanır.
Bir doğrulama kümesi çalıştırın
Ajanın Doğrulama sekmesinden, etkin her örnek üzerinde bir çalıştırma başlatın. Her örnek şu kararlardan birini alır:
- Başarılı — yanıt, beklentiyi ve arayan ses kaydını karşılar.
- Uyarı — yanıt kullanılabilir durumdadır ancak bir kontrol belirsizlik tespit etmiştir.
- Başarısız — ses kaydıyla çelişir veya gerekli davranışı yerine getirmez.
- Atlandı — gerekli arayan ses kaydı yüklenemedi; başarı oranı paydasına dahil edilmez.
- Hata — yeniden oynatma veya değerlendirme tamamlanamadı.
Çalıştırma özeti; başarılı, uyarı, başarısız ve atlanan sayıları, başarı oranını, tahmini maliyeti ve önceki tamamlanmış çalıştırmadan bu yana başarıdan başarısızlığa geçen tüm gerilemeleri bildirir. Aynı anda her ajan için yalnızca bir doğrulama çalıştırması etkin olabilir.
Doğrulama kanıtlarıyla yayına alın
Bir ajanın doğrulama örnekleri olduğunda, yayına alma iletişim kutusu en son tamamlanan çalıştırmanın mevcut taslakla eşleşip eşleşmediğini bildirir. Şunları yapabilirsiniz:
- Görüntülenen geçme oranı ve regresyon sayısıyla yayına alın.
- Eşleşen bir çalıştırma yoksa önce doğrulamayı çalıştırın.
- Sonuç incelendiyse bilerek yine de yayına alın.
Doğrulama, otomatik bir üretim trafiği bölmesi değil, kanıt ve yayına alma kontrolüdür. Canlı karşılaştırmalar için Deneyler (A/B testi) özelliğini kullanın.
API otomasyonu
Doğrulama Kümeleri API'si; turları öne çıkarma, örnekleri yönetme, sabitlenmiş sesi akış olarak iletme, tekil tekrarlar, toplu çalıştırmalar, çalıştırma sonuçları, yayına alma sırasındaki durum ve kuruluş genel bakışını kapsar.