Перейти к основному содержимому

Датасеты

Датасет — набор вопросов, на которых вы проверяете агента. Каждый вопрос вместе с ожидаемым результатом — отдельный кейс.

Ответы агента на вопросы датасета платформа оценивает по проверкам. Вы объединяете датасеты и проверки в тесте: один датасет можно добавить в несколько тестов, а в одном тесте — смешать кейсы из разных датасетов. Чтобы понять, как из ответов на вопросы датасета складывается итог запуска, посмотрите схему работы.

Создание датасета​

  1. На вкладке Датасеты нажмите Создать датасет.
  2. Укажите Название датасета. Например, «Доставка и возврат».
  3. Если процессу во всех кейсах нужны одни и те же данные, например тариф клиента, задайте их один раз для всего датасета.
  4. Составьте кейсы. В новом датасете уже есть одна пустая карточка кейса. Чтобы добавить следующий кейс, нажмите Добавить кейс, а чтобы создать похожий — Копировать кейс в карточке готового.
  5. Нажмите Сохранить.
Редактор датасета

Если вы уже создаете тест, а нужного датасета нет, вы можете создать его прямо в окне Новый тест: на шаге Датасеты нажмите Новый датасет.

В датасете может быть до 500 кейсов. Если кейсов много, их удобно подготовить в JSON-файле и загрузить в датасет.

Как собрать хороший датасет​

  • Берите реальные формулировки. Клиенты пишут коротко, с опечатками и без контекста: «а доставка?», «где заказ». Такие вопросы проверяют агента лучше, чем аккуратные и полные фразы.
  • Один кейс — одна проверяемая мысль. Если эталон содержит пять требований, а агент нарушил одно, вам будет сложно разобрать обоснование судьи. Разбейте сложный ответ на несколько кейсов.
  • Пишите эталон конкретно, без отсылок к внутренним правилам. Судья — это тоже LLM, и о ваших правилах он знает только то, что написано в вопросе и эталоне.
  • Добавляйте кейс на каждую найденную ошибку. Так вы сразу заметите, если старая ошибка появится снова.
  • Делайте датасеты тематическими. Собирать тесты под задачу гораздо проще из узких датасетов вроде «Доставка», «Возврат» и «Вне базы знаний», чем из одного общего.

Изменение и удаление датасета​

Датасет можно править и после того, как его добавили в тесты. Попадут ли правки в запуски теста, зависит от переключателя Фиксировать датасеты в тесте: если он включен, тест запускается по своей копии кейсов, а если отключен — по датасету в его текущем виде. Что будет с тестом, если изменить или удалить датасет, читайте в разделе Как правки датасетов влияют на тест.

Чтобы изменить, скопировать или удалить датасет, нажмите , или  в его строке на вкладке Датасеты. Чтобы найти кейс, который нужно поправить, введите в строку поиска название датасета или текст вопроса.

Удаленный датасет восстановить нельзя: вместе с ним пропадают его кейсы. Результаты прошлых запусков при этом сохраняются.