# A60: Чрезмерное доверие к самоконтролю модели (Overreliance on model self-policing)

> Защита, реализованная только текстом промпта или самопроверкой модели, ненадёжна: OWASP отмечает, что системные промпты не являются средством контроля безопасности. Если ограничения существуют лишь в инструкции, их соблюдение нельзя гарантировать и доказать аудитору.

- Канонический HTML: [/threats/a60-overreliance-on-model-self-policing](https://ai-first.tech/threats/a60-overreliance-on-model-self-policing)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Управление AI

## Как проявляется риск

Приложение спрашивает саму модель, допустимо ли действие, и исполняет её ответ. Внешней проверки политики при этом нет. Решение модели вероятностно и зависит от контекста, поэтому один и тот же запрос может быть разрешён и отклонён. Граница доверия нарушается там, где контролируемый компонент одновременно выступает собственным контролёром.

## Влияние на бизнес

- **Безопасность.** Ограничения обходятся, поскольку они не подкреплены принудительной проверкой.
- **Право и комплаенс.** На аудите нечем подтвердить, что правило соблюдалось в каждом случае.
- **Операции.** Поведение системы в значимых операциях оказывается непредсказуемым.

## Где риск наиболее вероятен

- Агенты, сами решающие о допустимости действия
- Ассистенты с ограничениями доступа, заданными только в промпте
- Автоматическое одобрение операций моделью
- Фильтрация ответов той же моделью, что их создаёт

## Кому и что решать

- **ИТ-директор.** Требовать в архитектуре AI-систем внешний слой проверки политик, независимый от модели.
- **Директор по кибербезопасности.** Обеспечить детерминированную проверку прав доступа и подтверждение значимых действий, а также их доказуемую запись.
- **Владелец бизнес-процесса.** Не принимать заверение «модель проинструктирована» как достаточную защиту процесса.

## Признаки для службы мониторинга

- Значимые действия одобряются только моделью
- Отсутствие детерминированной политики для операций с последствиями
- Нет записей, подтверждающих проверку перед действием
- Права доступа описаны текстом промпта, а не настройками системы
- Разные решения модели по одинаковым запросам

## Меры защиты

- **Требование многослойной защиты** (организационная). Закрепить в стандартах, что промпт не считается мерой контроля и дополняется независимыми слоями.
- **Подтверждение значимых действий** (организационная). Определить операции, которые исполняются только после утверждения человеком.
- **Внешний механизм политик** (техническая). Проверять каждое действие во внешнем компоненте, решение которого модель изменить не может.
- **Детерминированная проверка доступа** (техническая). Применять права пользователя на уровне системы, а не по суждению модели.
- **Стенд для проверки ограничений** (техническая). Регулярно тестировать, удерживаются ли ограничения при попытках их обойти.
- **Журнал решений о допуске** (мониторинг). Записывать каждое решение о допустимости действия и его основание для аудита.

## Вопросы команде и поставщику

- Какие ограничения наших AI-систем существуют только в тексте промпта?
- Что остановит действие, если модель ошибочно сочтёт его допустимым?
- Можем ли мы показать аудитору записи проверок перед значимыми операциями?
- Проверяет ли поставщик ограничения независимо от модели?

## Показатели контроля

- Доля значимых действий, проходящих внешнюю проверку политики
- Число ограничений, реализованных только в промпте
- Доля операций с записью решения о допуске

## Первые 30 дней

- Выявить действия, которые сейчас разрешает сама модель
- Вынести проверку прав для них во внешний компонент
- Включить журналирование решений о допуске

## Классы решений

- Шлюз AI
- Механизм политик (Policy Engine)
- Защита AI-агентов

## Сопоставления

- OWASP: LLM09
- MITRE: ATLAS: AI Governance
- NIST: NIST AI RMF: Govern

## Первоисточники

- [OWASP: LLM06:2025 Excessive Agency](https://genai.owasp.org/llmrisk/llm062025-excessive-agency/) — Избыточные полномочия и автономность агентов.
- [OWASP: LLM07:2025 System Prompt Leakage](https://genai.owasp.org/llmrisk/llm072025-system-prompt-leakage/) — Утечки системных инструкций и границы контроля.
- [CISA: Joint Guidance on Deploying AI Systems Securely](https://www.cisa.gov/news-events/alerts/2024/04/15/joint-guidance-deploying-ai-systems-securely) — Безопасное внедрение AI-систем.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.