Скупови за валидацију: поновите стварне токове позива пре примене
Пример валидације замрзава један потез агента из стварног позива: разговор који му претходи, релевантни аудио позиваоца, шта је агент заиста урадио и референтно очекивање онога што би требало да уради. Поновним извршавањем скупа са тренутним нацртом откривају се регресије без упућивања још једног позива.
Користите страницу Скупови валидације за целу организацију
(/dashboard/validation) да бисте креирали и прегледали скуп података. Користите картицу Валидација појединачног агента да бисте покренули скуп и прегледали историју покретања.
Додајте примере из историје позива
- Изаберите Додај примере
Изаберите агента чије понашање пример треба да валидира. Радни простор приказује до 25 недавних позива тог агента који нису симулације.
- Изаберите позив и потез агента
Прочитајте транскрипт, задржите показивач изнад потеза агента који желите да сачувате и изаберите радњу на контролној листи. Разговор до тог потеза и његови аудио-исечци позиваоца копирају се у скуп података за валидацију.
- Прегледајте очекивање
ThunderPhone припрема нацрт описа исправног понашања. Уредите га тако да буде конкретан и проверљив, а по жељи уредите прихваћени пример одговора и очекиване позиве алатки.
- Сачувајте или активирајте
Сачувајте нацрт оставља пример у статусу Потребан преглед. Сачувајте и активирајте укључује га у будућа покретања валидације.
Поновним додавањем истог потеза користи се постојећи пример уместо креирања две копије.
Типови и статуси примера
Типови описују зашто пример постоји:
| Тип | Намена |
|---|---|
| Неуспех | Стварни одговор који је открио понашање које желите да спречите. |
| Референтни | Познато исправан одговор који вреди сачувати. |
| Ручни | Ручно припремљен случај који не припада ниједној од тих категорија. |
Статуси контролишу животни циклус:
| Статус | Значење |
|---|---|
| Потребан преглед | Референтно очекивање се још прегледа; искључено је из покретања. |
| Активно | Укључено је у покретања валидације. |
| Застарело | Промпт се променио од замрзавања примера; прегледајте његово очекивање. |
| Некомпатибилно | Пример се не може поново извршити са тренутном конфигурацијом. |
| Архивирано | Сачувано је за историју, али је искључено из покретања. |
Прегледајте и прецизирајте скуп података
Филтрирајте скуп података организације према агенту, статусу или типу. Избором примера приказују се:
- Замрзнути контекст разговора и аудио-исечци позиваоца који се могу репродуковати.
- Изворни позив и оригинални одговор.
- Референтно очекивање, прихваћени говорни одговор и позиви алатки.
- Најновије поновно извршавање поред оригиналног и очекиваног понашања.
- Најновији вердикт и објашњења оцењивача, када су доступни.
Изаберите Уредите референтно очекивање да бисте изменили очекивање или прихваћени одговор. Изаберите Поново покрените са нацртом да бисте тестирали само тај пример без покретања целог извршавања. Поновна извршавања користе тренутни нацрт агента, а не нужно његову примењену конфигурацију.
Покрените скуп валидације
На картици Валидација агента покрените валидацију свих активних примера. Сваки пример добија један од следећих вердикта:
- Успешно — одговор испуњава очекивање и одговара аудио-снимку позиваоца.
- Упозорење — одговор је употребљив, али је једна провера открила неизвесност.
- Неуспешно — у супротности је са аудио-снимком или не испуњава обавезно понашање.
- Прескочено — неопходан аудио позиваоца није могао да се учита; искључен је из имениоца стопе успешности.
- Грешка — поновно извршавање или оцењивање није могло да се заврши.
Резиме покретања приказује број успешних, упозоравајућих, неуспешних и прескочених примера, стопу успешности, процењени трошак и сваку регресију са успешног на неуспешно од претходног завршеног покретања. Само једно покретање валидације по агенту може бити активно у исто време.
Објављивање са доказима валидације
Када агент има примере за валидацију, дијалог за објављивање приказује да ли се последње завршено покретање подудара са тренутном радном верзијом. Можете:
- Објавити са приказаном стопом успешности и бројем регресија.
- Прво покренути валидацију ако не постоји одговарајуће покретање.
- Намерно објавити упркос томе када је резултат прегледан.
Валидација је доказ и провера објављивања, а не аутоматска подела продукционог саобраћаја. За поређења уживо користите Експерименте (A/B тестирање).
API аутоматизација
API за скупове за валидацију обухвата промовисање потеза, управљање примерима, стримовање закаченог звука, појединачна понављања, групна покретања, резултате покретања, статус у тренутку објављивања и преглед организације.