Начните с решений, которые принимает бизнес
Не существует одной универсальной оценки «качества ИИ». Для поиска по документам важны полнота источников и корректность цитат, для классификации — ошибки по каждому классу, для помощника оператора — полезность ответа и время обработки, для агента — ещё и корректность выбранного действия.
Опишите критические сценарии, цену ошибки и минимально допустимый результат. Метрики должны отвечать на вопрос о готовности сервиса, а не воспроизводить публичный рейтинг модели.
Соберите эталонный набор
В набор включают типовые, сложные и заведомо опасные запросы, реальные формулировки пользователей, документы разных форматов и случаи, где система должна отказаться или запросить уточнение. Для каждого примера фиксируют ожидаемые факты, допустимые варианты ответа, обязательные источники и недопустимые действия.
Данные делят на рабочую часть для улучшений и закрытую контрольную выборку. Иначе команда постепенно подстраивает промпт под известные вопросы и получает красивую метрику, которая не переносится на производство.
Оценивайте систему по слоям
Для RAG отдельно измеряют извлечение документов и качество итогового ответа. Для агента отдельно проверяют построение плана, выбор инструмента, аргументы вызова и результат. Автоматические проверки хорошо подходят для формата, наличия факта, ссылки или запрещённого действия; экспертная оценка нужна там, где важны полезность, полнота и профессиональный смысл.
Параллельно измеряют задержку, стоимость, долю отказов, длину контекста и стабильность под нагрузкой. Более точный ответ, который приходит после завершения бизнес-операции, не решает задачу.
Введите пороги и правила выпуска
Каждое изменение модели, промпта, индекса, инструментов или параметров запуска прогоняют на одной версии набора. Результат сравнивают с текущей промышленной конфигурацией, а не с абстрактным максимумом. Критические сценарии могут требовать стопроцентного прохождения, даже если средняя метрика выросла.
Версию модели и конфигурацию фиксируют, результаты сохраняют вместе с изменением. После выпуска продолжают собирать обезличенные неудачные примеры и добавляют их в набор после проверки.
Приёмка — это повторяемый процесс
Хороший отчёт показывает не одну итоговую цифру, а срез по сценариям, типам ошибок и группам пользователей. Владелец бизнеса утверждает полезность, ИБ — ограничения, а техническая команда — воспроизводимость, производительность и откат. Тогда обновление ИИ становится обычным управляемым релизом, а не новой демонстрацией каждый раз.