Сначала определите ответ, который можно проверить
До выбора векторной базы соберите набор реальных вопросов и эталонных источников. Для каждого вопроса важно знать, какой документ должен быть найден, какой фрагмент подтверждает ответ и в каких случаях система обязана отказаться от ответа.
Такой набор становится основой приёмки. Без него команда будет оценивать результат по впечатлению от нескольких удачных диалогов.
Подготовка документов определяет потолок качества
Скан, таблица, схема и регламент требуют разных способов извлечения. Потерянный заголовок или перепутанные ячейки таблицы нельзя исправить более крупной моделью. До индексации проверяют качество OCR, структуру, кодировку, дубли и актуальность.
Разбиение на фрагменты также зависит от типа документа. Слишком короткие части теряют контекст, слишком длинные добавляют шум и расходуют окно модели. Полезно сохранять заголовок раздела, номер документа, дату, владельца и уровень доступа.
Поиск должен быть измеряемым
Оценивайте отдельно извлечение и генерацию. Если нужный источник не попал в верхние результаты, проблема находится в индексе, метаданных или запросе. Если источник найден, но ответ неверен, проверяют промпт, контекст и модель.
В корпоративных базах часто лучше работает сочетание семантического и лексического поиска. Артикулы, номера договоров и точные термины могут плохо находиться только по смысловой близости.
Права применяются во время каждого запроса
Фильтрация только на этапе построения индекса недостаточна: сотрудники переходят между подразделениями, документы меняют статус, доступы отзываются. Система должна проверять актуальные права при извлечении и не раскрывать запрещённые фрагменты через цитаты, подсказки или журналы.
Индекс — это производственная система
Нужны очередь обновления, контроль ошибок, повторная обработка, версия схемы и возможность отката. Для критичных знаний задают допустимое время между изменением исходного документа и появлением новой версии в ответах.
Перед запуском мы проверяем не только точность, но и задержку, параллельную нагрузку, отказ компонентов, резервное копирование и наблюдаемость. RAG становится полезным тогда, когда его можно измерять, объяснять и сопровождать.