# A58: Недостоверные AI-сводки, влияющие на решения по безопасности (AI-generated misinformation affecting security decisions)

> Сводки, подготовленные AI, могут искажать сведения об инцидентах, поставщиках, уязвимостях и возможностях атакующих групп. Решения, принятые на таких данных, направляют ресурсы не туда и создают юридические риски при публикации.

- Канонический HTML: [/threats/a58-ai-generated-misinformation-affecting-security-decisions](https://ai-first.tech/threats/a58-ai-generated-misinformation-affecting-security-decisions)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Управление AI

## Как проявляется риск

Аналитик получает от модели связный текст и использует его без сверки с первоисточниками. В сводке может быть неверно названа уязвимость или преувеличено влияние на поставщика. Убедительная форма скрывает отсутствие подтверждения. Граница доверия нарушается, когда сгенерированный текст попадает в отчёт, публикацию или план реагирования наравне с проверенными фактами.

## Влияние на бизнес

- **Безопасность.** Приоритеты реагирования на инциденты расставляются неверно.
- **Право и комплаенс.** Ошибочные утверждения о поставщиках и продуктах создают основания для претензий.
- **Репутация.** Аналитическая платформа или служба теряет доверие после публикации неподтверждённых сведений.

## Где риск наиболее вероятен

- Сводки по угрозам для руководства
- Аналитические и новостные публикации по кибербезопасности
- Оценка поставщиков с помощью AI
- Подготовка отчётов об инцидентах

## Кому и что решать

- **ИТ-директор.** Требовать от AI-инструментов аналитики ссылок на источники и возможности проследить каждое утверждение.
- **Директор по кибербезопасности.** Установить, что решения по реагированию не принимаются на основе сводки без сверки с первоисточником.
- **Владелец бизнес-процесса.** Ввести редакционную проверку для всех публичных материалов, подготовленных с участием AI.

## Признаки для службы мониторинга

- Утверждения без ссылки на источник
- Расплывчатые указания на происхождение сведений
- Несогласованные даты внутри одного материала
- Идентификаторы уязвимостей, которых нет в официальных реестрах
- Расхождение сводки с текстом первоисточника

## Меры защиты

- **Редакционная проверка фактов** (организационная). Назначить ответственного за сверку фактов в материалах, подготовленных с участием AI.
- **Сверка по нескольким источникам** (организационная). Подтверждать значимые утверждения минимум двумя независимыми источниками.
- **Порядок исправления ошибок** (организационная). Определить, как исправляется и помечается опубликованный материал с неточностью.
- **Обязательные ссылки в ответах** (техническая). Настроить инструменты так, чтобы каждое утверждение сопровождалось источником.
- **Привязка ответов к источникам** (техническая). Формировать сводки только на основе извлечённых документов, а не общих знаний модели.
- **Выборочный аудит материалов** (мониторинг). Регулярно проверять выпущенные сводки на соответствие первоисточникам.

## Вопросы команде и поставщику

- Какие решения по безопасности у нас принимаются на основе AI-сводок?
- Кто проверяет факты перед публикацией или докладом?
- Можно ли проследить каждое утверждение до источника?
- Как мы исправляем материал, если в нём обнаружена ошибка?

## Показатели контроля

- Доля утверждений в материалах, снабжённых ссылкой на источник
- Число исправлений опубликованных материалов
- Доля AI-сводок, прошедших проверку человеком

## Первые 30 дней

- Определить, где AI-сводки используются в отчётах и публикациях
- Ввести правило обязательных ссылок и проверки перед выпуском
- Провести выборочную сверку недавних материалов с первоисточниками

## Классы решений

- Редакционный контроль AI-контента
- Привязка ответов к источникам (RAG grounding)

## Сопоставления

- OWASP: LLM09
- MITRE: ATLAS: AI Governance
- NIST: NIST AI RMF: Govern

## Первоисточники

- [OWASP: LLM09:2025 Misinformation](https://genai.owasp.org/llmrisk/llm092025-misinformation/) — Мisinformation и доверие к модельному выводу.
- [CISA: Joint Guidance on Deploying AI Systems Securely](https://www.cisa.gov/news-events/alerts/2024/04/15/joint-guidance-deploying-ai-systems-securely) — Безопасное внедрение AI-систем.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.