Практика ответственного ИИ

ИИ должен помогать действовать —
и оставаться управляемым

Определяем границы данных, полномочий и допустимой автономности до запуска. После запуска измеряем качество, отслеживаем изменения и сохраняем возможность остановить, заменить или безопасно обойти модель.

Контроль строится под конкретный сценарий, риск и юрисдикцию

Рабочая позиция

Не обещание безошибочности,
а проверяемый контур управления

Модель ИИ вероятностна. Поэтому надёжность создаётся не одной настройкой, а сочетанием данных, архитектуры, испытаний, человеческой ответственности и эксплуатации.

PURPOSE

Ограниченное назначение

Фиксируем, какую задачу решает система, кому она помогает и где её вывод нельзя использовать без дополнительной проверки.

EVIDENCE

Проверка на реальном контексте

Качество оцениваем на сценариях, документах, языках и ошибках, которые действительно встречаются у заказчика.

CONTROL

Человек сохраняет полномочия

Значимые, необратимые и чувствительные действия не передаются модели без явно согласованного подтверждения.

CHANGE

Изменение — это новый риск

Смена модели, промпта, базы знаний или инструмента проходит оценку и регрессионную проверку до выпуска.

Данные и модели

Сначала классифицируем данные.
Потом выбираем контур

Нет универсального правила «всё в облако» или «только локально». Для проекта составляем матрицу данных, целей обработки, мест хранения, поставщиков и разрешённых пользователей.

OPEN

Открытые и разрешённые материалы

Публичные документы, собственные шаблоны и данные, права на использование которых подтверждены.

Можно использовать в согласованном сервисе с учётом лицензий, авторских прав и условий поставщика.
INTERNAL

Внутренние рабочие данные

Регламенты, инструкции, переписка и другие материалы ограниченного внутреннего доступа.

Передаются только в утверждённый контур, с ролевым доступом, минимизацией и понятным сроком хранения.
SENSITIVE

Персональные и конфиденциальные данные

Персональные данные, коммерческая тайна и сведения, для которых действуют договорные или отраслевые ограничения.

Только при наличии основания и отдельно согласованных мер: маскирование, изоляция, журналирование и контроль выгрузки.
RESTRICTED

Секреты и данные особого режима

Пароли, ключи, платёжные реквизиты, государственная, банковская, медицинская и иная охраняемая информация.

Не направляются в модели общего назначения. Возможность обработки рассматривается отдельно в специально спроектированном контуре.

Окончательное решение определяется не названием категории, а назначением системы, источником данных, договором, моделью угроз и применимым правом.

Варианты размещения

Архитектура следует
за ограничениями задачи

Выбираем не самый модный вариант, а тот, в котором можно подтвердить путь данных, границы ответственности, доступность и стоимость жизненного цикла.

LOCAL

Локальный или изолированный контур

Модель, RAG, журналы и интеграции работают на площадке заказчика или в выделенной среде без неконтролируемого внешнего обмена.

Максимальный контроль · больше ответственности за инфраструктуру и обновления
PRIVATE

Частное управляемое размещение

Выделенная среда с согласованными регионами хранения, сетевыми маршрутами, резервированием и эксплуатационной моделью.

Баланс контроля и управляемой эксплуатации
CLOUD

Контролируемый облачный API

Используется после проверки условий обработки, хранения запросов, обучения на данных, региона, субподрядчиков и механизмов удаления.

Быстрый доступ к моделям · обязательная проверка поставщика

Полномочия человека и ИИ

Автоматизируем скорость,
но не размываем ответственность

Уровень автономности определяется последствиями ошибки. Авторизация проверяется в целевой системе, а не доверяется текстовому ответу модели.

ASSIST

Совет и подготовка

ИИ ищет, резюмирует, классифицирует или готовит черновик. Пользователь оценивает результат перед использованием.

CONFIRM

Действие после подтверждения

ИИ предлагает операцию и её параметры, но отправка, изменение данных, публикация или иной значимый шаг требует человека.

AUTO

Ограниченная автоматизация

Допустима для обратимых низкорисковых операций в заданных лимитах, с журналом, наблюдаемостью и механизмом остановки.

Жизненный цикл

Контроль не заканчивается
после демонстрации

Каждый этап оставляет проверяемый результат: описание назначения, матрицу данных, протокол испытаний, решение о выпуске и план наблюдения.

MAP

Описать сценарий

Назначение, пользователи, цена ошибки, затронутые процессы и владелец решения.

BOUND

Задать границы

Данные, роли, инструменты, поставщики, запрещённые действия и условия передачи человеку.

MEASURE

Измерить

Контрольные наборы, точность, полнота, отказы, устойчивость, утечки и атаки на инструкции.

RELEASE

Разрешить выпуск

Ответственный человек принимает остаточный риск, ограничения отражаются в интерфейсе и документации.

OBSERVE

Наблюдать и менять

Обратная связь, дрейф качества, инциденты, версии и повторные испытания перед изменениями.

Язык страницы меняет набор региональных ориентиров ниже, но не определяет применимое право автоматически. Для проекта требования выбираются по странам размещения и использования, отрасли, типам данных и роли каждой стороны. Перечень является ориентиром, а не заявлением о сертификации ВирТЭК или заказчика.

Эксплуатационные контроли

То, что можно
увидеть, проверить и изменить

Состав контролей зависит от риска, но базовая схема охватывает качество, доступ, журналы, поставщиков и безопасный отказ.

EVAL

Качество и регрессии

Храним эталонные сценарии и критерии: корректность, опора на источники, полнота, отказ при нехватке данных, безопасность и скорость. Изменение не выпускается, если ухудшает критичный показатель без принятого решения.

TRACE

Журналирование и наблюдаемость

Фиксируем версию модели и сценария, применённые инструменты, источники RAG, ошибки, задержки и значимые действия. Содержимое запросов маскируется или не сохраняется там, где полный текст создаёт лишний риск.

ACCESS

Доступ к данным и инструментам

Разделяем право вызвать модель, увидеть источник и выполнить действие. Инструменты получают минимальные функции, лимиты и короткоживущие учётные данные; целевая система повторно проверяет разрешение.

PORT

Выбор и замена модели

Сохраняем реестр моделей и условий поставщиков, отделяем прикладную логику от конкретного API и сравниваем кандидатов на одном наборе проверок. Замена версии проходит как управляемое изменение.

GROUND

Ошибки и галлюцинации

Где возможно, ответ опирается на проверяемые источники и показывает их пользователю. При недостатке данных система должна остановиться, обозначить неопределённость или передать задачу специалисту.

SECURE

Защита ИИ-контура

Проверяем prompt injection, утечки, небезопасную обработку вывода, чрезмерные полномочия и зависимости. Модель не является границей безопасности и не принимает решение о доступе сама.

Ошибки и инциденты

Нежелательный ответ —
это сигнал для процесса

Разделяем единичную ошибку качества, нарушение политики, утечку, небезопасное действие и отказ поставщика: для них нужны разные сроки реакции и корректирующие меры.

Зафиксировать

Сценарий, время, версию, доступные журналы и влияние — без повторного распространения чувствительных данных.

Ограничить

Остановить опасный инструмент, маршрут или версию; при необходимости переключить на безопасный режим или человека.

Разобрать

Определить источник: данные, поиск, промпт, модель, интеграция, права, изменение поставщика или действие пользователя.

Исправить и проверить

Добавить тест, изменить контроль, повторить регрессию и только затем вернуть функцию в рабочий режим.

Критерии серьёзности, контакты, сроки уведомления и ответственность фиксируются в проектной документации и договорной модели поддержки.

Канал обратной связи

Сообщите об ошибке,
риске или нежелательном действии

Укажите сервис или проект, время, ожидаемое и фактическое поведение. Не включайте в обычное обращение пароли, ключи и другие секреты. Для действующих проектов используйте согласованный защищённый канал и приоритет инцидента.

Это публичное описание инженерного подхода. Конкретные гарантии, состав журналов, сроки хранения, метрики, SLA, роли и применимые требования определяются для каждого проекта отдельно и фиксируются в договоре и проектной документации.

Ответственный запуск

Начнём со сценария,
данных и цены ошибки

Поможем выбрать контур, определить полномочия ИИ, собрать программу испытаний и подготовить решение к управляемой эксплуатации.

Обсудить задачу