# A01: Прямое внедрение инструкций в запрос пользователя (Direct Prompt Injection)

> Пользователь формулирует запрос так, чтобы модель проигнорировала системные инструкции и правила разработчика. Для бизнеса это срыв политик безопасности, раскрытие внутренних инструкций и небезопасные ответы от имени компании.

- Канонический HTML: [/threats/a01-direct-prompt-injection](https://ai-first.tech/threats/a01-direct-prompt-injection)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Безопасность языковых моделей

## Как проявляется риск

В корпоративный ассистент поступает запрос, который выглядит как обычная рабочая задача, но направлен на изменение поведения модели. Модель не различает надёжно инструкции владельца системы и текст пользователя: всё попадает в один контекст. Граница доверия нарушается там, где пользовательский ввод получает силу управляющей команды. Если ограничения заданы только текстом инструкций, ассистент начинает действовать вне политики.

## Влияние на бизнес

- **Безопасность.** Ассистент перестаёт соблюдать заданные ограничения и раскрывает внутренние инструкции.
- **Право и комплаенс.** Нарушаются регламенты использования AI, принятые в компании.
- **Репутация.** Небезопасные ответы выдаются от имени компании и становятся публичными.

## Где риск наиболее вероятен

- Клиентские чат-боты на сайте и в мессенджерах
- Внутренние ассистенты сотрудников
- Ассистенты с доступом к базе знаний
- Ассистенты службы поддержки

## Кому и что решать

- **ИТ-директор.** Закрепить в архитектуре правило: ограничения ассистента обеспечиваются внешними средствами контроля, а не только текстом системных инструкций.
- **Директор по кибербезопасности.** Обеспечить фильтрацию запросов до модели, проверку ответов по политике и регулярное тестирование защищённости.
- **Владелец бизнес-процесса.** Определить, какие ответы ассистента недопустимы для процесса, и согласовать порядок реагирования на такие случаи.

## Признаки для службы мониторинга

- Модель резко меняет роль или тон посреди диалога
- Пользователь просит показать системные инструкции или внутренние правила
- Запросы содержат попытки отменить или обойти действующие запреты
- Растёт доля отказов модели и аномальных ответов
- Ответы выходят за рамки назначения ассистента

## Меры защиты

- **Фильтрация запросов до модели** (техническая). Проверять входящие запросы на признаки попыток изменить поведение модели. Подозрительные обращения блокируются до обработки.
- **Проверка ответов по политике** (техническая). Сверять каждый ответ с правилами компании вне модели. Недопустимый ответ не доходит до пользователя.
- **Разделение инструкций и данных** (техническая). Передавать системные инструкции и пользовательский текст раздельно, чтобы ввод не воспринимался как команда.
- **Регулярное тестирование защищённости ассистента** (организационная). Проводить состязательные проверки перед запуском и после изменений. Слабые места выявляются раньше злоумышленника.
- **Журналирование запросов и ответов** (мониторинг). Сохранять диалоги и решения фильтров для расследований и настройки правил.

## Вопросы команде и поставщику

- Чем обеспечены ограничения ассистента помимо текста системных инструкций?
- Проверяются ли ответы модели до выдачи пользователю?
- Когда последний раз проводилось состязательное тестирование и что оно показало?
- Кто получает сигнал о попытке обойти политику и что делает дальше?

## Показатели контроля

- Доля запросов, заблокированных входным фильтром
- Число ответов, отклонённых проверкой по политике
- Доля сценариев состязательного тестирования, в которых защита устояла

## Первые 30 дней

- Составить перечень ассистентов, принимающих свободный пользовательский ввод
- Включить журналирование запросов и ответов во всех таких системах
- Провести первое состязательное тестирование самого массового ассистента

## Классы решений

- Межсетевой экран для LLM
- Шлюз AI
- Тестирование защищённости AI

## Сопоставления

- OWASP: LLM01
- MITRE: ATLAS: Prompt Injection
- NIST: NIST AI 100-2: Evasion

## Первоисточники

- [OWASP: OWASP Top 10 for Large Language Model Applications 2025](https://owasp.org/www-project-top-10-for-large-language-model-applications/) — Таксономия рисков LLM-приложений.
- [OWASP: LLM01:2025 Prompt Injection](https://genai.owasp.org/llmrisk/llm01-prompt-injection/) — Прямые и косвенные prompt injection и меры снижения риска.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.