Отделите ответ от действия
Чат-бот формирует текст, а агент строит план, выбирает инструмент и меняет состояние внешней системы. Поэтому демонстрация, где агент успешно выполнил один сценарий, не подтверждает готовность к промышленной эксплуатации. Нужно отдельно описать чтение данных, подготовку предложения и необратимое действие.
Полезно разделить операции на три класса: безопасные автоматические, контролируемые с последующей проверкой и критические с обязательным подтверждением человека. Отправка письма, изменение платёжных реквизитов, удаление данных и предоставление доступа не должны наследовать тот же режим, что поиск документа.
Выдавайте права задаче, а не модели
У агента должна быть собственная техническая идентичность с минимальными правами. Не передавайте ему универсальный токен администратора или пользовательскую сессию без ограничений. Для каждого инструмента фиксируют разрешённые операции, область данных, срок действия учётных данных и лимиты частоты.
Контекст пользователя тоже проверяется серверной стороной. Если сотрудник не имеет доступа к договору, агент не должен получать его только потому, что документ оказался в индексе или памяти предыдущего диалога. Политика доступа применяется при извлечении и повторно перед действием.
Считайте входные данные недоверенными
Инструкция может находиться не только в запросе пользователя, но и в письме, веб-странице, вложении или записи из базы знаний. Такие данные нельзя смешивать с системными правилами. Инструменты передают агенту структурированные результаты, а аргументы действий проверяются схемой, политиками и бизнес-ограничениями.
Для чувствительных операций полезны белые списки адресатов и систем, пороги сумм, запрет произвольных команд и изолированное выполнение. Выход одного инструмента не должен автоматически становиться полномочием для другого.
Сделайте память управляемой
Краткосрочный контекст, профиль пользователя и общая база знаний имеют разный срок жизни и разные владельцы. Память нужно разделять по организации, проекту и пользователю, очищать по регламенту и защищать от записи непроверенных инструкций. Секреты и персональные данные не должны сохраняться «для удобства», если это не требуется сценарием.
Журналируйте цепочку решения
Для расследования недостаточно финального ответа. Журнал должен связывать пользователя, версию агента, выбранный инструмент, аргументы, результат проверки политики, подтверждение человека и итог внешней операции. При этом в журнале маскируют секреты и лишние персональные данные.
До запуска проверяют аварийную остановку, отзыв токенов, ограничение расходов и деградацию в режим «только чтение». Надёжный агент — не тот, который никогда не ошибается, а тот, чья ошибка ограничена, видима и обратима.