# A45: Ложная уверенность в AI-оценке рисков (False confidence in AI risk scoring)

> Оценка рисков на основе AI создаёт видимость объективности, даже когда допущения модели и качество данных слабы. Руководство распределяет бюджет по некорректному показателю, а критичные риски получают низкий приоритет.

- Канонический HTML: [/threats/a45-false-confidence-in-ai-risk-scoring](https://ai-first.tech/threats/a45-false-confidence-in-ai-risk-scoring)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Управление AI

## Как проявляется риск

Панель показывает сводный показатель риска, рассчитанный моделью. Расчёт опирается на реестр активов, который может быть неполным. Системы, не попавшие в реестр, в оценке не участвуют, и показатель выглядит благополучным. Граница доверия нарушается, когда число на панели принимается без вопроса о том, на каких данных оно построено. Слепые зоны при этом остаются невидимыми для руководства.

## Влияние на бизнес

- **Финансы.** Инвестиции в защиту направляются не туда, где риск действительно высок.
- **Безопасность.** Критичные риски получают низкий приоритет и остаются без мер.
- **Право и комплаенс.** Показатель, не привязанный к подтверждениям, трудно защитить перед аудитором.

## Где риск наиболее вероятен

- Панели показателей риска для руководства
- Приоритизация уязвимостей с помощью AI
- Оценка защищённости AI-систем
- Обоснование бюджета кибербезопасности

## Кому и что решать

- **ИТ-директор.** Обеспечить полноту и актуальность реестра активов, на котором строится оценка.
- **Директор по кибербезопасности.** Требовать объяснимости показателя и ссылок на подтверждающие данные; регулярно калибровать модель оценки.
- **Владелец бизнес-процесса.** Спрашивать не только значение показателя, но и его охват: какие системы в расчёт не вошли.

## Признаки для службы мониторинга

- В расчёте отсутствуют активы, известные по другим источникам
- Значение показателя невозможно объяснить через исходные факторы
- Оценка не связана с подтверждающими данными
- Данные для расчёта давно не обновлялись
- Показатель не меняется после значимых изменений в инфраструктуре

## Меры защиты

- **Управленческий контроль оценки** (организационная). Назначить ответственных, которые рассматривают показатели и допущения модели до принятия решений.
- **Объяснимая модель оценки** (техническая). Показывать, какие факторы и с каким весом сформировали значение.
- **Привязка оценки к подтверждениям** (техническая). Сопровождать каждый показатель ссылками на данные, из которых он получен.
- **Отображение доверительных интервалов** (техническая). Выводить вместе с оценкой меру её неопределённости, чтобы слабые данные были заметны.
- **Периодическая калибровка модели** (мониторинг). Сравнивать оценки с фактическими инцидентами и результатами проверок, корректировать модель.

## Вопросы команде и поставщику

- Какая доля наших систем охвачена оценкой риска?
- На каких данных и допущениях построен показатель?
- Когда оценку последний раз сверяли с реальными инцидентами?
- Какие решения о бюджете приняты на основе этого показателя?

## Показатели контроля

- Доля активов реестра, охваченных оценкой
- Доля показателей со ссылками на подтверждающие данные
- Давность данных, используемых в расчёте

## Первые 30 дней

- Сверить реестр активов оценочной системы с другими источниками учёта
- Запросить у команды или поставщика описание допущений модели
- Добавить в панель сведения об охвате и давности данных

## Классы решений

- Управление AI (AI Governance)
- Непрерывное управление подверженностью угрозам AI (CTEM)
- Аналитика рисков

## Сопоставления

- OWASP: LLM09
- MITRE: ATLAS: AI Governance
- NIST: NIST AI RMF: Govern

## Первоисточники

- [NIST: AI 100-2e2025: Adversarial Machine Learning](https://csrc.nist.gov/pubs/ai/100/2/e2025/final) — Таксономия атак и mitigations для adversarial ML.
- [Cloud Security Alliance: AI Controls Matrix](https://cloudsecurityalliance.org/artifacts/ai-controls-matrix) — Контрольные домены AI security и governance.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.