Zestawy walidacyjne: odtwarzaj rzeczywiste tury rozmów przed wdrożeniem
Przekształcaj rzeczywiste momenty rozmów ThunderPhone w przykłady walidacyjne do ponownego użycia, przeglądaj oczekiwane zachowanie, odtwarzaj je na wersji roboczej agenta i wykrywaj regresje przed wdrożeniem.
Przykład walidacyjny zamraża jedną turę agenta z rzeczywistego połączenia: rozmowę poprzedzającą tę turę, odpowiednie nagranie rozmówcy, faktyczne działanie agenta oraz stan referencyjny określający, co agent powinien zrobić. Odtworzenie zestawu na podstawie bieżącej wersji roboczej wykrywa regresje bez wykonywania kolejnego połączenia.
Użyj ogólnofirmowej strony Zbiory walidacyjne
(/dashboard/validation), aby tworzyć i przeglądać zbiór danych. Użyj karty
Walidacja konkretnego agenta, aby uruchomić zestaw i sprawdzić historię uruchomień.
Dodawanie przykładów z historii połączeń
- Wybierz Dodaj przykłady
Wybierz agenta, którego zachowanie ma walidować przykład. Obszar roboczy wyświetla maksymalnie 25 ostatnich połączeń niesymulowanych dla tego agenta.
- Wybierz połączenie i turę agenta
Przeczytaj transkrypcję, najedź kursorem na turę agenta, którą chcesz zachować, i wybierz akcję z listy kontrolnej. Rozmowa do tej tury oraz fragmenty nagrania rozmówcy zostaną skopiowane do zbioru danych walidacyjnych.
- Sprawdź oczekiwanie
ThunderPhone tworzy wersję roboczą opisu prawidłowego zachowania. Edytuj go tak, aby był konkretny i możliwy do sprawdzenia, a opcjonalnie edytuj zaakceptowaną przykładową odpowiedź oraz oczekiwane wywołania narzędzi.
- Zapisz lub aktywuj
Zapisz wersję roboczą pozostawia przykład ze statusem Wymaga przeglądu. Zapisz i aktywuj uwzględnia go w przyszłych uruchomieniach walidacji.
Ponowne promowanie tej samej tury wykorzystuje istniejący przykład zamiast tworzyć dwie kopie.
Rodzaje i statusy przykładów
Rodzaje określają, dlaczego przykład istnieje:
| Rodzaj | Zastosowanie |
|---|---|
| Niepowodzenie | Rzeczywista odpowiedź, która ujawniła zachowanie, któremu chcesz zapobiec. |
| Wzorcowy | Sprawdzona poprawna odpowiedź, którą warto zachować. |
| Ręczny | Ręcznie przygotowany przypadek, który nie należy do żadnej z tych kategorii. |
Statusy kontrolują cykl życia:
| Status | Znaczenie |
|---|---|
| Wymaga przeglądu | Stan referencyjny jest nadal sprawdzany; przykład jest wykluczony z uruchomień. |
| Aktywny | Uwzględniony w uruchomieniach walidacji. |
| Nieaktualny | Monit zmienił się od czasu zamrożenia przykładu; sprawdź jego oczekiwanie. |
| Niezgodny | Przykładu nie można odtworzyć w bieżącej konfiguracji. |
| Zarchiwizowany | Zachowany dla historii, ale wykluczony z uruchomień. |
Przeglądanie i dopracowywanie zbioru danych
Filtruj firmowy zbiór danych według agenta, statusu lub rodzaju. Wybranie przykładu wyświetla:
- Zamrożony kontekst rozmowy i odtwarzalne fragmenty nagrań rozmówcy.
- Połączenie źródłowe i pierwotną odpowiedź.
- Oczekiwanie referencyjne, zaakceptowaną odpowiedź głosową i wywołania narzędzi.
- Najnowsze odtworzenie obok pierwotnego i oczekiwanego zachowania.
- Najnowszy werdykt i wyjaśnienia oceniającego, gdy są dostępne.
Wybierz Edytuj stan referencyjny, aby zmienić oczekiwanie lub zaakceptowaną odpowiedź. Wybierz Odtwórz na podstawie wersji roboczej, aby przetestować tylko ten przykład bez uruchamiania pełnej walidacji. Odtworzenia używają bieżącej wersji roboczej agenta, niekoniecznie jego wdrożonej konfiguracji.
Uruchamianie zestawu walidacyjnego
Na karcie Walidacja agenta uruchom walidację dla każdego aktywnego przykładu. Każdy przykład otrzymuje jeden z tych werdyktów:
- Zaliczono — odpowiedź spełnia oczekiwanie i jest zgodna z nagraniem rozmówcy.
- Ostrzeżenie — odpowiedź jest użyteczna, ale jedna kontrola wykryła niepewność.
- Niepowodzenie — odpowiedź jest sprzeczna z nagraniem lub pomija wymagane zachowanie.
- Pominięto — nie można było wczytać wymaganego nagrania rozmówcy; przykład jest wykluczony z mianownika wskaźnika zaliczeń.
- Błąd — nie można było ukończyć odtworzenia lub oceny.
Podsumowanie uruchomienia zawiera liczbę zaliczeń, ostrzeżeń, niepowodzeń i pominięć, wskaźnik zaliczeń, szacowany koszt oraz każdą regresję z zaliczenia do niepowodzenia od poprzedniego ukończonego uruchomienia. W danym momencie może być aktywne tylko jedno uruchomienie walidacji na agenta.
Wdrażanie z dowodami walidacyjnymi
Gdy agent ma przykłady walidacyjne, okno wdrażania informuje, czy najnowsze ukończone uruchomienie odpowiada bieżącej wersji roboczej. Możesz:
- Wdrożyć z wyświetlonym współczynnikiem powodzenia i liczbą regresji.
- Najpierw uruchomić walidację, jeśli nie istnieje pasujące uruchomienie.
- Celowo wdrożyć mimo wszystko, gdy wynik został sprawdzony.
Walidacja stanowi dowód i kontrolę wdrożenia, a nie automatyczny podział ruchu produkcyjnego. Do porównań na żywo użyj Eksperymentów (testów A/B).
Automatyzacja API
API zestawów walidacyjnych obejmuje promowanie tur, zarządzanie przykładami, strumieniowanie przypiętego audio, pojedyncze powtórki, uruchomienia wsadowe, wyniki uruchomień, status podczas wdrażania oraz przegląd organizacji.