# A43: Внедрение инструкций в AI-инструменты кибербезопасности (Prompt injection in cybersecurity AI tools)

> AI-инструменты защиты сами уязвимы к внедрению инструкций (prompt injection) через анализируемое содержимое — на это указывает исследование «Cybersecurity AI: Hacking the AI Hackers». Инструмент, призванный помогать защитнику, может выдать неверные рекомендации или раскрыть данные.

- Канонический HTML: [/threats/a43-prompt-injection-in-cybersecurity-ai-tools](https://ai-first.tech/threats/a43-prompt-injection-in-cybersecurity-ai-tools)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Безопасность языковых моделей

## Как проявляется риск

AI-инструмент разбирает подозрительный сайт, файл или журнал по поручению аналитика. В этом содержимом может находиться текст, адресованный самому анализатору. Модель не отличает изучаемый материал от указаний оператора и начинает следовать чужому тексту. Граница доверия нарушается в момент, когда объект анализа получает права инструкции. Итогом становятся искажённое заключение или передача данных не по назначению.

## Влияние на бизнес

- **Безопасность.** Вредоносный объект получает заключение о безопасности, а меры устранения оказываются ошибочными.
- **Данные.** Сведения из расследования могут быть отправлены не тому адресату.
- **Операции.** Аналитики тратят время на перепроверку выводов инструмента, которому перестали доверять.

## Где риск наиболее вероятен

- Анализ подозрительных файлов и писем
- Разбор веб-страниц и фишинговых сайтов
- Обобщение журналов событий
- AI-помощник расследования с доступом к инструментам

## Кому и что решать

- **ИТ-директор.** Требовать, чтобы AI-инструменты защиты запускались в изолированной среде с минимальными правами доступа.
- **Директор по кибербезопасности.** Считать любое анализируемое содержимое враждебным и обеспечить проверку выводов инструмента аналитиком.
- **Владелец бизнес-процесса.** Понимать, что покупка AI-средства защиты добавляет новый объект защиты и не снимает ответственности с людей.

## Признаки для службы мониторинга

- Помощник выполняет действия, описанные в анализируемом содержимом, а не в задаче аналитика
- Рекомендации по устранению противоречат наблюдаемым фактам
- Данные расследования уходят на адрес, не предусмотренный процессом
- Заключение резко меняется при незначительном изменении исследуемого объекта
- Инструмент обращается к внешним ресурсам, не связанным с задачей

## Меры защиты

- **Проверка заключений аналитиком** (организационная). Значимые выводы инструмента подтверждает человек до принятия решения по инциденту.
- **Изолированная среда анализа** (техническая). Разбирать подозрительные объекты в песочнице без доступа к рабочим данным и системам.
- **Строгое разделение ролей** (техническая). Отделять указания оператора от исследуемого материала, чтобы текст из объекта не воспринимался как команда.
- **Проверка вывода инструмента** (техническая). Сверять заключение с независимыми признаками перед тем, как оно попадёт в отчёт или запустит действие.
- **Контроль исходящих обращений** (мониторинг). Фиксировать, куда инструмент отправляет данные, и разбирать отклонения от обычного маршрута.

## Вопросы команде и поставщику

- Какие AI-инструменты защиты у нас читают недоверенное содержимое?
- К каким данным и действиям эти инструменты имеют доступ?
- Проверял ли поставщик устойчивость инструмента к внедрению инструкций?
- Кто подтверждает заключение инструмента перед закрытием инцидента?

## Показатели контроля

- Доля AI-инструментов защиты, работающих в изолированной среде
- Число расхождений между заключением инструмента и проверкой аналитика
- Число исходящих обращений инструмента к неутверждённым адресам

## Первые 30 дней

- Составить перечень AI-инструментов защиты и их прав доступа
- Сократить права инструментов до необходимого минимума
- Включить проверку устойчивости к внедрению инструкций в приёмочные испытания

## Классы решений

- Защита AI в SOC
- Межсетевой экран для LLM
- Защищённое подключение инструментов

## Сопоставления

- OWASP: LLM01
- MITRE: ATLAS: Prompt Injection
- NIST: NIST AI 100-2: Evasion

## Первоисточники

- [OWASP: LLM01:2025 Prompt Injection](https://genai.owasp.org/llmrisk/llm01-prompt-injection/) — Прямые и косвенные prompt injection и меры снижения риска.
- [MITRE: MITRE ATLAS](https://atlas.mitre.org/) — Тактики и техники против AI-систем.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.