Validačné sady: prehrajte reálne úseky hovorov pred nasadením
Príklad validácie zmrazí jeden ťah agenta zo skutočného hovoru: konverzáciu, ktorá mu predchádzala, relevantné audio volajúceho, čo agent skutočne urobil, a referenčnú správnu odpoveď toho, čo by mal urobiť. Prehrávanie súpravy oproti aktuálnemu konceptu zachytí regresie bez uskutočnenia ďalšieho hovoru.
Na vytvorenie a kontrolu datasetu použite stránku Validačné súpravy pre celú organizáciu
(/dashboard/validation). Na spustenie súpravy a kontrolu histórie spustení použite kartu Validácia konkrétneho agenta.
Pridanie príkladov z histórie hovorov
- Vybrať Pridať príklady
Vyberte agenta, ktorého správanie má príklad overiť. Pracovný priestor zobrazí až 25 nedávnych hovorov bez simulácie pre daného agenta.
- Vybrať hovor a ťah agenta
Prečítajte si prepis, umiestnite kurzor na ťah agenta, ktorý chcete zachovať, a vyberte akciu kontrolného zoznamu. Konverzácia po daný ťah a príslušné zvukové úseky volajúceho sa skopírujú do validačného datasetu.
- Skontrolovať očakávanie
ThunderPhone vytvorí návrh opisu správneho správania. Upravte ho tak, aby bol konkrétny a testovateľný, a voliteľne upravte prijatú vzorovú odpoveď a očakávané volania nástrojov.
- Uložiť alebo aktivovať
Uložiť koncept ponechá príklad v stave Vyžaduje kontrolu. Uložiť a aktivovať ho zahrnie do budúcich validačných spustení.
Opätovné povýšenie rovnakého ťahu znova použije existujúci príklad namiesto vytvorenia dvoch kópií.
Typy a stavy príkladov
Typy opisujú, prečo príklad existuje:
| Typ | Použitie |
|---|---|
| Zlyhanie | Skutočná odpoveď, ktorá odhalila správanie, ktorému chcete predísť. |
| Zlatý štandard | Overená správna odpoveď, ktorú sa oplatí zachovať. |
| Manuálny | Ručne spravovaný prípad, ktorý nepatrí do žiadnej z uvedených kategórií. |
Stavy riadia životný cyklus:
| Stav | Význam |
|---|---|
| Vyžaduje kontrolu | Referenčná správna odpoveď sa ešte kontroluje; je vylúčená zo spustení. |
| Aktívny | Je zahrnutý vo validačných spusteniach. |
| Zastaraný | Výzva sa od zmrazenia príkladu zmenila; skontrolujte jeho očakávanie. |
| Nekompatibilný | Príklad nie je možné prehrať s aktuálnou konfiguráciou. |
| Archivovaný | Zachovaný pre históriu, ale vylúčený zo spustení. |
Prehľadávanie a spresňovanie datasetu
Dataset organizácie filtrujte podľa agenta, stavu alebo typu. Po výbere príkladu sa zobrazí:
- Zmrazený kontext konverzácie a prehrateľné zvukové úseky volajúceho.
- Zdrojový hovor a pôvodná odpoveď.
- Očakávanie referenčnej správnej odpovede, prijatá hovorená odpoveď a volania nástrojov.
- Najnovšie prehratie vedľa pôvodného a očakávaného správania.
- Najnovší verdikt a vysvetlenia hodnotiteľa, ak sú k dispozícii.
Vyberte Upraviť referenčnú správnu odpoveď na úpravu očakávania alebo prijatej odpovede. Vyberte Prehrať oproti konceptu na otestovanie iba daného príkladu bez spustenia úplného behu. Prehratia používajú aktuálny koncept agenta, nie nevyhnutne jeho nasadenú konfiguráciu.
Spustenie validačnej súpravy
Na karte Validácia agenta spustite beh pre každý aktívny príklad. Každý príklad dostane jeden z týchto verdiktov:
- Úspech — odpoveď spĺňa očakávanie aj audio volajúceho.
- Varovanie — odpoveď je použiteľná, ale jedna kontrola zistila neistotu.
- Zlyhanie — odporuje audiu alebo nezahŕňa požadované správanie.
- Preskočené — požadované audio volajúceho sa nepodarilo načítať; je vylúčené z menovateľa miery úspešnosti.
- Chyba — prehratie alebo hodnotenie sa nepodarilo dokončiť.
Súhrn behu uvádza počty úspechov, varovaní, zlyhaní a preskočených príkladov, mieru úspešnosti, odhadované náklady a každú regresiu z úspechu na zlyhanie od predchádzajúceho dokončeného behu. Naraz môže byť aktívny iba jeden validačný beh na agenta.
Nasadenie s dôkazmi z validácie
Keď má agent príklady validácie, dialóg nasadenia uvádza, či sa posledné dokončené spustenie zhoduje s aktuálnym návrhom. Môžete:
- Nasadiť so zobrazenou mierou úspešnosti a počtom regresií.
- Najprv spustiť validáciu, ak neexistuje žiadne zodpovedajúce spustenie.
- Zámerne nasadiť aj napriek tomu, keď bol výsledok skontrolovaný.
Validácia je dôkaz a kontrola nasadenia, nie automatické rozdelenie produkčnej prevádzky. Pre porovnania v reálnom čase použite Experimenty (A/B testovanie).
Automatizácia API
Rozhranie Validation Sets API zahŕňa povýšenie ťahov, správu príkladov, streamovanie pripnutého zvuku, jednotlivé prehratia, dávkové spustenia, výsledky spustení, stav pri nasadení a prehľad organizácie.