Набори валідації: відтворюйте реальні репліки дзвінків перед розгортанням
Перетворюйте реальні моменти дзвінків ThunderPhone на повторно використовувані приклади валідації, переглядайте очікувану поведінку, відтворюйте їх у чернетці агента та виявляйте регресії перед розгортанням.
Приклад валідації фіксує одну репліку агента з реального виклику: розмову до неї, відповідне аудіо абонента, фактичні дії агента та еталонні дані про те, що він має зробити. Повторне відтворення набору на основі поточної чернетки допомагає виявити регресії без здійснення нового виклику.
Використовуйте загальноорганізаційну сторінку Набори валідації
(/dashboard/validation), щоб створювати й переглядати набір даних. Використовуйте вкладку Валідація окремого агента, щоб запускати набір і переглядати історію запусків.
Додавайте приклади з історії викликів
- Виберіть «Додати приклади»
Виберіть агента, поведінку якого має перевіряти приклад. Робоча область показує до 25 останніх викликів без симуляції для цього агента.
- Виберіть виклик і репліку агента
Прочитайте транскрипт, наведіть курсор на репліку агента, яку потрібно зберегти, і виберіть дію з позначкою. Розмову до цієї репліки та відповідні фрагменти аудіо абонента буде скопійовано до набору даних валідації.
- Перегляньте очікування
ThunderPhone створює чернетку опису правильної поведінки. Відредагуйте її так, щоб вона була конкретною та придатною для перевірки, і за потреби відредагуйте прийнятну відповідь-приклад та очікувані виклики інструментів.
- Збережіть або активуйте
Зберегти чернетку залишає приклад у статусі Потребує перевірки. Зберегти й активувати додає його до майбутніх запусків валідації.
Повторне підвищення статусу тієї самої репліки використовує наявний приклад, а не створює дві копії.
Типи прикладів і статуси
Типи описують, чому існує приклад:
| Тип | Використання |
|---|---|
| Помилка | Реальна відповідь, що виявила поведінку, якій ви хочете запобігти. |
| Еталонний | Відома правильна відповідь, яку варто зберегти. |
| Ручний | Випадок, відібраний вручну, що не належить до жодної з цих категорій. |
Статуси керують життєвим циклом:
| Статус | Значення |
|---|---|
| Потребує перевірки | Еталонні дані ще перевіряються; приклад виключено із запусків. |
| Активний | Включено до запусків валідації. |
| Застарілий | Промпт змінився після фіксації прикладу; перегляньте його очікування. |
| Несумісний | Приклад неможливо відтворити з поточною конфігурацією. |
| Архівний | Збережено для історії, але виключено із запусків. |
Переглядайте й уточнюйте набір даних
Фільтруйте набір даних організації за агентом, статусом або типом. Вибір прикладу показує:
- Зафіксований контекст розмови та відтворювані фрагменти аудіо абонента.
- Вихідний виклик і початкову відповідь.
- Еталонне очікування, прийнятну усну відповідь і виклики інструментів.
- Останнє відтворення поруч з початковою та очікуваною поведінкою.
- Останній вердикт і пояснення оцінювача, якщо вони доступні.
Виберіть Редагувати еталонні дані, щоб змінити очікування або прийнятну відповідь. Виберіть Відтворити на основі чернетки, щоб перевірити лише цей приклад без запуску повного набору. Відтворення використовує поточну чернетку агента, а не обов’язково його розгорнуту конфігурацію.
Запустіть набір валідації
На вкладці Валідація агента запустіть перевірку для кожного активного прикладу. Кожен приклад отримує один із таких вердиктів:
- Успішно — відповідь відповідає очікуванню та аудіо абонента.
- Попередження — відповідь придатна до використання, але одна перевірка виявила невизначеність.
- Помилка — відповідь суперечить аудіо або не виконує потрібну поведінку.
- Пропущено — не вдалося завантажити необхідне аудіо абонента; приклад виключено зі знаменника частки успішних.
- Збій — не вдалося завершити відтворення або оцінювання.
Підсумок запуску містить кількість успішних, попереджень, помилок і пропущених прикладів, частку успішних, орієнтовну вартість і будь-яку регресію з успішного результату до помилки порівняно з попереднім завершеним запуском. Одночасно для кожного агента може бути активним лише один запуск валідації.
Розгортання з результатами валідації
Коли агент має приклади валідації, діалог розгортання повідомляє, чи відповідає останній завершений запуск поточній чернетці. Ви можете:
- Розгорнути з відображеним показником успішності та кількістю регресій.
- Спочатку запустити валідацію, якщо відповідного запуску немає.
- Свідомо виконати розгортання попри це, коли результат перевірено.
Валідація — це доказ і перевірка розгортання, а не автоматичний розподіл трафіку в продакшні. Для порівнянь у реальному часі використовуйте Експерименти (A/B-тестування).
Автоматизація API
API наборів валідації охоплює просування ходів, керування прикладами, потокове передавання закріпленого аудіо, окремі повторні відтворення, пакетні запуски, результати запусків, статус під час розгортання та огляд організації.