Тестирование качества

В разделе Тестирование качества вы проверяете, как агент отвечает на одни и те же вопросы в разных версиях проекта. Например, вы изменили промпт и хотите убедиться, что ответы стали лучше. Для этого вы один раз готовите набор вопросов, запускаете его на нужной версии и сравниваете результат с прошлыми запусками, а не проверяете агента вручную в тестовом виджете.

Примеры в этом разделе документации показывают проверку одного агента. Это агент поддержки интернет-магазина: он отвечает на вопросы о доставке, возврате и статусе заказа.

к сведению

Раздел есть не во всех аккаунтах. Если в меню проекта нет пункта Тестирование качества, свяжитесь с аккаунт-менеджером или напишите на contact@just-ai.com. Если Agent Platform установлена в контур вашей компании, раздел включает администратор — обратитесь к нему.

Как это работает

Вы готовите вопросы к агенту и описываете правильные ответы. Агент отвечает на каждый вопрос, а платформа оценивает ответы по выбранным проверкам: LLM-проверки выполняет модель-судья, а проверки-правила — сама платформа. Ответом считаются все текстовые сообщения, которые процесс отправил на вопрос, поэтому тестировать можно и процесс без блока Агент.

• Датасет — набор кейсов. Кейс содержит вопрос к агенту и, если нужно, критерии оценки: эталон, JSON-схему ответа или функции, которые агент должен вызвать. Эталон — это правильный ответ или инструкция для судьи.
• Проверка — то, что платформа оценивает в ответе. Например, ответил ли агент на заданный вопрос или вызвал ли нужную функцию.
• Тест — набор из датасетов и проверок: что спросить у агента и как оценить ответы. Тест создают один раз, а запускают много раз. Версия проекта в тест не входит, поэтому один тест можно запускать на разных версиях.
• Запуск — одно выполнение теста на выбранной сохраненной версии проекта. У каждого запуска свой номер и, если ответы оценивали, свой итог — Pass rate. Запуски складываются в историю теста, и по ней видно, как менялось качество ответов от версии к версии. В разделе История запусков этот термин означает другое: там запуск — это одно выполнение процесса.
• Прогон — один ответ агента на один кейс внутри запуска. Прогонов в запуске столько, сколько кейсов в тесте, умноженное на число повторов.
• Оценка — результат одной проверки для одного прогона: балл судьи или результат проверки-правила. Судья ставит балл, прочитав вопрос, ответ и эталон, если он задан.
• Pass rate — процент оценок запуска, которые прошли проверку. По Pass rate удобно сравнивать запуски.

Пример: один запуск теста

В тесте «Регресс: доставка и возврат» 3 кейса с эталоном, проверки Релевантность ответа и Выполнение задачи и 2 повтора. Вы запускаете тест на версии «Промпт с правилами магазина». Агент отвечает на каждый кейс дважды — это 6 прогонов. Каждый прогон оценивают две проверки — это 12 оценок. Если проверку прошли 9 оценок из 12, Pass rate запуска — 75%. После правки промпта вы запускаете тот же тест на новой версии и сравниваете Pass rate двух запусков.

Порядок работы

1. Соберите датасет из вопросов для проверки агента.
2. Выберите проверки. Для LLM-проверок в проекте должна быть подключена LLM: она станет моделью-судьей. Подключить интеграцию может пользователь с ролью AP_ADMIN.
3. Создайте тест из датасетов и проверок.
4. Сохраните проект и запустите тест на сохраненной версии.
5. Изучите результаты запуска: Pass rate, оценки по каждому кейсу и обоснования судьи.
6. Измените процесс, сохраните проект и запустите этот же тест на новой версии. Сравните результаты двух запусков.

Посмотрите примеры тестов: они показывают полный цикл проверки. Вы узнаете, как убедиться, что новая версия промпта не сломала ответы, агент не выдумывает факты и вызывает нужные функции.

Особенности и ограничения

предупреждение

Во время запуска процесс выполняется по-настоящему: агент обращается к LLM, а запросы уходят в другие сервисы. Если процесс что-то делает в других сервисах, например отправляет письма или создает заявки, отключите эти действия на время теста.

• Прогоны не расходуют запуски процесса, включенные в тариф. Запросы к LLM, которые во время запуска отправляют агент и модель-судья, тарифицируются как обычные запросы к LLM.
• Готовить датасеты, создавать и запускать тесты могут пользователи с ролями AP_ADMIN и AP_DEVELOPER. Пользователи с ролью AP_VIEWER могут только просматривать раздел.
• Запуск идет в отдельном тестовом канале: черновик процесса в конструкторе он не меняет, а клиенты в опубликованных каналах тестовых диалогов не видят.
• Каждый прогон идет в отдельной сессии нового клиента, поэтому ответы на разные кейсы и повторы не влияют друг на друга.
• Прогоны попадают в разделы История запусков, Сессии и Клиенты с каналом Тестовый виджет. Например, тест из 30 кейсов с тремя повторами добавит в каждый из этих разделов 90 записей. В истории запусков прогоны можно убрать фильтром Скрыть тестовые запуски, в сессиях и клиентах такого фильтра нет.