# A44: Вымышленные рекомендации по безопасности от AI (Hallucinated security guidance)

> Модель может уверенно выдавать неверные факты, рекомендации и ссылки; OWASP относит недостоверную информацию к рискам категории LLM09. Если на таких ответах строятся архитектура, настройки и отчёты, ошибка становится управленческим решением.

- Канонический HTML: [/threats/a44-hallucinated-security-guidance](https://ai-first.tech/threats/a44-hallucinated-security-guidance)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Управление AI

## Как проявляется риск

Сотрудник спрашивает AI-ассистента о требованиях стандарта или о безопасной настройке системы. Ассистент придумывает несуществующий стандарт либо советует устаревшую небезопасную конфигурацию. Ответ звучит убедительно и не содержит оговорок. Граница доверия нарушается, когда непроверенный текст модели принимается как экспертное заключение. Дальше он попадает в проектную документацию, настройки или отчёт для аудитора.

## Влияние на бизнес

- **Безопасность.** Небезопасные архитектурные решения и неправильные настройки систем.
- **Право и комплаенс.** Ложные сведения в отчётах и ошибки в трактовке правовых и регуляторных требований.
- **Операции.** Переделка решений, принятых на основе недостоверных рекомендаций.

## Где риск наиболее вероятен

- Консультации по настройке средств защиты
- Подготовка отчётов и политик с помощью AI
- Ответы ассистента о нормативных требованиях
- Проектирование архитектуры с опорой на ответы модели

## Кому и что решать

- **ИТ-директор.** Подключить ассистента к актуальной внутренней документации и не допускать его ответов в рабочие конфигурации без проверки.
- **Директор по кибербезопасности.** Обеспечить обязательные ссылки на источники и экспертную проверку рекомендаций, влияющих на защиту.
- **Владелец бизнес-процесса.** Не использовать ответы AI как основание для юридически значимых решений без подтверждения специалистом.

## Признаки для службы мониторинга

- Утверждения в ответах не сопровождаются ссылками на источник
- Приведённые ссылки не открываются или ведут на несуществующие документы
- Ответ подаётся с высокой уверенностью при отсутствии подтверждающих данных
- Рекомендация противоречит внутренней политике или документации
- Ассистент ссылается на устаревшие версии документов

## Меры защиты

- **Экспертная проверка рекомендаций** (организационная). Ответы, влияющие на архитектуру, настройки и отчётность, утверждает профильный специалист.
- **Опора ответов на проверенные источники** (техническая). Формировать ответы на основе утверждённой базы документов, а не общих знаний модели.
- **Обязательное цитирование источников** (техническая). Показывать пользователю, из какого документа взято утверждение, чтобы его можно было проверить.
- **Оценка уверенности ответа** (техническая). Помечать ответы с низкой подтверждённостью и направлять их на ручную проверку.
- **Контроль актуальности базы знаний** (мониторинг). Отслеживать давность документов, на которые опирается ассистент, и своевременно их обновлять.
- **Регулярные оценочные испытания** (мониторинг). Периодически проверять точность ответов на контрольном наборе вопросов и фиксировать отклонения.

## Вопросы команде и поставщику

- Какие решения по безопасности у нас принимаются с опорой на ответы AI?
- Показывает ли ассистент источник каждого утверждения?
- Кто проверяет рекомендации перед применением?
- Как часто обновляются документы, на которые опирается ассистент?

## Показатели контроля

- Доля ответов с проверяемыми ссылками на источники
- Доля неверных ответов на контрольном наборе вопросов
- Средняя давность документов в базе знаний ассистента

## Первые 30 дней

- Определить процессы, где ответы AI влияют на настройки и отчёты
- Включить обязательное цитирование источников в ассистенте
- Собрать контрольный набор вопросов и провести первую оценку точности

## Классы решений

- Защита RAG
- Управление AI (AI Governance)
- Наблюдаемость LLM

## Сопоставления

- OWASP: LLM09
- MITRE: ATLAS: AI Governance
- NIST: NIST AI RMF: Govern

## Первоисточники

- [OWASP: LLM09:2025 Misinformation](https://genai.owasp.org/llmrisk/llm092025-misinformation/) — Мisinformation и доверие к модельному выводу.
- [CISA: Joint Guidance on Deploying AI Systems Securely](https://www.cisa.gov/news-events/alerts/2024/04/15/joint-guidance-deploying-ai-systems-securely) — Безопасное внедрение AI-систем.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.