Набори за валидиране: възпроизвеждайте реални реплики от разговори преди внедряване
Примерът за валидиране фиксира една реплика на агента от реално обаждане: разговора преди нея, съответното аудио на обаждащия се, какво действително е направил агентът и еталонната истина за това какво трябва да направи. Повторното възпроизвеждане на набор спрямо текущата чернова открива регресии, без да се извършва ново обаждане.
Използвайте страницата Набори за валидиране за цялата организация
(/dashboard/validation), за да създавате и преглеждате набора от данни. Използвайте раздела Валидиране на отделния
агент, за да изпълните набора и да прегледате хронологията на изпълненията.
Добавяне на примери от хронологията на обажданията
- Изберете Добавяне на примери
Изберете агента, чието поведение трябва да валидира примерът. Работното пространство показва до 25 скорошни несимулационни обаждания за този агент.
- Изберете обаждане и реплика на агента
Прочетете транскрипцията, посочете с курсора репликата на агента, която искате да запазите, и изберете действието от контролния списък. Разговорът до тази реплика и аудио сегментите на обаждащия се се копират в набора от данни за валидиране.
- Прегледайте очакването
ThunderPhone създава чернова на описание на правилното поведение. Редактирайте го, така че да е конкретно и проверимо, и по желание редактирайте приетия примерен отговор и очакваните извиквания на инструменти.
- Запазете или активирайте
Запазване на чернова оставя примера в състояние Изисква преглед. Запазване и активиране го включва в бъдещи изпълнения за валидиране.
Повторното добавяне на същата реплика използва съществуващия пример, вместо да създава две копия.
Видове и състояния на примерите
Видовете описват защо съществува даден пример:
| Вид | Употреба |
|---|---|
| Неуспех | Реален отговор, който е разкрил поведение, което искате да предотвратите. |
| Еталонен | Доказано добър отговор, който си заслужава да бъде запазен. |
| Ръчен | Ръчно подбран случай, който не попада в нито една от категориите. |
Състоянията управляват жизнения цикъл:
| Състояние | Значение |
|---|---|
| Изисква преглед | Еталонната истина все още се преглежда; изключен от изпълненията. |
| Активен | Включен в изпълненията за валидиране. |
| Неактуален | Подканата е променена, откакто примерът е фиксиран; прегледайте очакването му. |
| Несъвместим | Примерът не може да бъде възпроизведен с текущата конфигурация. |
| Архивиран | Запазен за историята, но изключен от изпълненията. |
Преглеждане и прецизиране на набора от данни
Филтрирайте набора от данни на организацията по агент, състояние или вид. Избирането на пример показва:
- Фиксирания контекст на разговора и аудио сегментите на обаждащия се, които могат да се възпроизвеждат.
- Изходното обаждане и първоначалния отговор.
- Очакването на еталонната истина, приетия устен отговор и извикванията на инструменти.
- Най-скорошното повторно възпроизвеждане до първоначалното и очакваното поведение.
- Най-скорошната оценка и обясненията на оценяващия, когато са налични.
Изберете Редактиране на еталонната истина, за да промените очакването или приетия отговор. Изберете Повторно възпроизвеждане спрямо черновата, за да тествате само този пример, без да стартирате пълно изпълнение. Повторните възпроизвеждания използват текущата чернова на агента, а не непременно неговата внедрена конфигурация.
Изпълнение на набор за валидиране
От раздела Валидиране на агента стартирайте изпълнение за всеки активен пример. Всеки пример получава една от следните оценки:
- Успех — отговорът отговаря на очакването и аудиото на обаждащия се.
- Предупреждение — отговорът е използваем, но една проверка е открила несигурност.
- Неуспех — противоречи на аудиото или пропуска изисквано поведение.
- Пропуснато — необходимото аудио на обаждащия се не може да бъде заредено; изключено е от знаменателя на процента успешни.
- Грешка — повторното възпроизвеждане или оценяването не може да бъде завършено.
Обобщението на изпълнението отчита броя на успехите, предупрежденията, неуспехите и пропуснатите примери, процента успешни, прогнозната цена и всяка регресия от успех към неуспех след предходното завършено изпълнение. Само едно изпълнение за валидиране на агент може да бъде активно едновременно.
Разгръщане с доказателства от валидация
Когато агентът има примери за валидация, диалоговият прозорец за разгръщане показва дали последното завършено изпълнение съответства на текущата чернова. Можете да:
- Разгърнете с показания процент на успешно преминаване и брой регресии.
- Първо изпълните валидация, ако няма съответстващо изпълнение.
- Умишлено да разгръщате въпреки това, когато резултатът е прегледан.
Валидацията е доказателство и проверка при разгръщане, а не автоматично разпределение на трафика в продукционна среда. За сравнения на живо използвайте Експерименти (A/B тестване).
API автоматизация
API за набори за валидация обхваща повишаване на ходове, управление на примери, поточно предаване на закрепено аудио, отделни повторения, пакетни изпълнения, резултати от изпълнения, статус при разгръщане и общ преглед на организацията.