# A42: Отравление данных киберразведки для AI-помощника SOC (Threat-intelligence poisoning for AI SOC)

> AI-помощником центра мониторинга можно манипулировать через искажённые данные киберразведки, журналы, заявки и заметки об инцидентах. В результате служба безопасности неверно расставляет приоритеты и пропускает настоящие угрозы.

- Канонический HTML: [/threats/a42-threat-intelligence-poisoning-for-ai-soc](https://ai-first.tech/threats/a42-threat-intelligence-poisoning-for-ai-soc)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Управление AI

## Как проявляется риск

Помощник аналитика строит выводы на внешних отчётах, описаниях индикаторов и записях об инцидентах. Часть этих материалов приходит из источников, которые организация не контролирует. Если в заметке к индикатору или во внешнем отчёте содержится вводящий в заблуждение текст, помощник воспринимает его как достоверный факт. Граница доверия нарушается там, где непроверенный источник получает тот же вес, что и проверенный. Ошибка затем переходит в рекомендации по сдерживанию.

## Влияние на бизнес

- **Безопасность.** Неверная первичная оценка событий и упущенные угрозы.
- **Операции.** Ошибочные меры сдерживания останавливают исправные системы или оставляют затронутые без внимания.
- **Репутация.** Ложная атрибуция инцидента ведёт к неверным заявлениям перед руководством и партнёрами.

## Где риск наиболее вероятен

- Первичная оценка событий AI-помощником
- Автоматическое обогащение инцидентов внешними данными
- Подготовка сводок по инциденту на основе заявок
- Автоматизированное реагирование по рекомендации модели

## Кому и что решать

- **ИТ-директор.** Не допускать автоматического исполнения действий реагирования в производственных системах без подтверждения человеком.
- **Директор по кибербезопасности.** Ввести оценку доверия к источникам и обязательную перекрёстную проверку выводов помощника по нескольким источникам.
- **Владелец бизнес-процесса.** Учитывать, что решение об остановке сервиса по рекомендации AI должно иметь ответственного человека.

## Признаки для службы мониторинга

- Рекомендация помощника опирается на источник с низким или неизвестным уровнем доверия
- Один источник необычно преобладает в обосновании выводов
- Помощник связывает события, между которыми аналитик не находит связи
- Вывод не сопровождается ссылками на исходные данные
- Атрибуция инцидента расходится с результатами ручной проверки

## Меры защиты

- **Подтверждение решений аналитиком** (организационная). Выводы помощника о приоритете и сдерживании утверждает человек. Ошибка модели не превращается в действие автоматически.
- **Оценка доверия к источникам** (техническая). Присваивать каждому источнику данных уровень доверия и учитывать его при формировании выводов.
- **Обязательные ссылки на источники** (техническая). Требовать от помощника указания, на чём основан каждый вывод, чтобы аналитик мог его проверить.
- **Ограничители для автоматического реагирования** (техническая). Задать в платформе автоматизации перечень действий, которые нельзя запускать только по рекомендации модели.
- **Перекрёстная проверка по источникам** (мониторинг). Отслеживать выводы, подтверждённые единственным источником, и направлять их на дополнительную проверку.

## Вопросы команде и поставщику

- На каких источниках основаны выводы AI-помощника и кто оценивает их надёжность?
- Какие действия реагирования могут выполняться без подтверждения аналитиком?
- Может ли помощник показать, откуда взят каждый вывод?
- Как мы узнаем, что помощника ввели в заблуждение?

## Показатели контроля

- Доля выводов помощника со ссылками на источники
- Доля рекомендаций, подтверждённых более чем одним источником
- Число рекомендаций, отклонённых аналитиком после проверки

## Первые 30 дней

- Составить перечень источников, которые читает AI-помощник, и оценить доверие к каждому
- Отключить автоматическое исполнение мер сдерживания без подтверждения
- Включить обязательное указание источников в ответах помощника

## Классы решений

- Защита AI в SOC
- Киберразведка (Threat Intelligence)
- Межсетевой экран для LLM

## Сопоставления

- OWASP: LLM09
- MITRE: ATLAS: AI Governance
- NIST: NIST AI RMF: Govern

## Первоисточники

- [OWASP: LLM01:2025 Prompt Injection](https://genai.owasp.org/llmrisk/llm01-prompt-injection/) — Прямые и косвенные prompt injection и меры снижения риска.
- [OWASP: LLM06:2025 Excessive Agency](https://genai.owasp.org/llmrisk/llm062025-excessive-agency/) — Избыточные полномочия и автономность агентов.
- [MITRE: MITRE ATLAS](https://atlas.mitre.org/) — Тактики и техники против AI-систем.
- [arXiv: Lessons from Defending Gemini Against Indirect Prompt Injections](https://arxiv.org/abs/2505.14534) — Непрерывная adversarial evaluation indirect prompt injection.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.