Локальное размещение — это архитектурное решение
У локального ИИ есть понятное преимущество: запросы и документы можно обрабатывать внутри инфраструктуры компании. Это важно, когда данные нельзя передавать внешнему сервису или требуется полный контроль над обновлениями. Но сервер в собственной стойке не отменяет управление рисками.
В контуре появляются новые активы: веса модели, системный промпт, база знаний, векторный индекс, история диалогов, журналы, API и учётные записи. Каждый компонент требует владельца, правил доступа, резервного копирования и наблюдаемости.
Разделяйте доступ к модели и доступ к знаниям
Пользователь может иметь право работать с ассистентом, но не со всеми документами компании. Поэтому RAG-система должна сохранять исходные права или применять отдельную модель авторизации. Если индекс создаётся без учёта подразделений и уровней доступа, ассистент способен вернуть фрагмент документа, который пользователь не мог открыть напрямую.
Проверять нужно не только финальный ответ. Полезно фиксировать, какие источники были найдены, почему они попали в контекст и какие политики доступа сработали.
Учитывайте специфические атаки на ИИ
Документ или сообщение может содержать инструкцию, которая пытается изменить поведение модели. Это называют prompt injection. Защита не сводится к фразе в системном промпте. Нужны разделение доверенных и недоверенных данных, ограничение инструментов, проверка операций, фильтрация вывода и подтверждение чувствительных действий.
Ещё один риск — чрезмерная уверенность в ответе. Модель должна уметь сообщить, что информации недостаточно, а интерфейс — показывать источники и дату их актуальности.
Журналирование должно помогать, а не создавать новую утечку
Диалоги полезны для расследований и улучшения качества, но часто содержат коммерческие или персональные данные. Следует заранее определить состав логов, срок хранения, маскирование, доступ администраторов и порядок удаления. Сохранять все запросы без ограничений «на всякий случай» — плохая практика.
Практический минимальный контур
- единая аутентификация и роли;
- шифрование соединений и хранилищ;
- раздельные зоны для модели, базы знаний и внешних интеграций;
- контроль исходящих соединений;
- журналирование административных и чувствительных операций;
- проверка источников и прав при каждом запросе;
- тесты на утечки, prompt injection и ошибочные действия;
- процедура обновления моделей, библиотек и контейнеров.
Безопасный корпоративный ИИ начинается не с запрета всего внешнего, а с понятной модели угроз и правил эксплуатации. Локальное размещение даёт контроль — воспользоваться им должна архитектура.