A45 · Управление AI

Ложная уверенность в AI-оценке рисков

Оценка рисков на основе AI создаёт видимость объективности, даже когда допущения модели и качество данных слабы. Руководство распределяет бюджет по некорректному показателю, а критичные риски получают низкий приоритет.

Иллюстрация к карточке угрозы «Ложная уверенность в AI-оценке рисков»
Отправить с описанием:TelegramWhatsApp
Кратко для руководителя

В чём суть риска

Оценка рисков на основе AI создаёт видимость объективности, даже когда допущения модели и качество данных слабы. Руководство распределяет бюджет по некорректному показателю, а критичные риски получают низкий приоритет.

Панель показывает сводный показатель риска, рассчитанный моделью. Расчёт опирается на реестр активов, который может быть неполным. Системы, не попавшие в реестр, в оценке не участвуют, и показатель выглядит благополучным. Граница доверия нарушается, когда число на панели принимается без вопроса о том, на каких данных оно построено. Слепые зоны при этом остаются невидимыми для руководства.

Связь со стандартамиOWASPLLM09MITRE / ATT&CKATLAS: AI GovernanceNISTNIST AI RMF: Govern
01
Влияние на бизнес

Чем риск оборачивается для компании

Финансы

Инвестиции в защиту направляются не туда, где риск действительно высок.

Безопасность

Критичные риски получают низкий приоритет и остаются без мер.

Право и комплаенс

Показатель, не привязанный к подтверждениям, трудно защитить перед аудитором.

Где риск наиболее вероятен

Панели показателей риска для руководстваПриоритизация уязвимостей с помощью AIОценка защищённости AI-системОбоснование бюджета кибербезопасности
02
Зоны ответственности

Кому и что решать

ИТ-директор

Обеспечить полноту и актуальность реестра активов, на котором строится оценка.

Директор по кибербезопасности

Требовать объяснимости показателя и ссылок на подтверждающие данные; регулярно калибровать модель оценки.

Владелец бизнес-процесса

Спрашивать не только значение показателя, но и его охват: какие системы в расчёт не вошли.

03
Сигналы для службы мониторинга

Что стоит наблюдать

Признаки сами по себе не доказывают инцидент. Их полезно сопоставлять с учётной записью, версией модели, решением политики, источником контекста и результатом вызова инструмента.

В расчёте отсутствуют активы, известные по другим источникам
Значение показателя невозможно объяснить через исходные факторы
Оценка не связана с подтверждающими данными
Данные для расчёта давно не обновлялись
Показатель не меняется после значимых изменений в инфраструктуре
04
Проектирование защиты

Какие меры создают границу

Меры работают в связке и не перекладывают ответственность на модель: важны границы полномочий, владелец, телеметрия и процедура безопасного отказа.

01Организационная

Управленческий контроль оценки

Назначить ответственных, которые рассматривают показатели и допущения модели до принятия решений.

02Техническая

Объяснимая модель оценки

Показывать, какие факторы и с каким весом сформировали значение.

03Техническая

Привязка оценки к подтверждениям

Сопровождать каждый показатель ссылками на данные, из которых он получен.

04Техническая

Отображение доверительных интервалов

Выводить вместе с оценкой меру её неопределённости, чтобы слабые данные были заметны.

05Мониторинг

Периодическая калибровка модели

Сравнивать оценки с фактическими инцидентами и результатами проверок, корректировать модель.

05
Управленческий контроль

Вопросы, показатели и первые шаги

Вопросы команде и поставщику

  1. Какая доля наших систем охвачена оценкой риска?
  2. На каких данных и допущениях построен показатель?
  3. Когда оценку последний раз сверяли с реальными инцидентами?
  4. Какие решения о бюджете приняты на основе этого показателя?

Показатели контроля

  • Доля активов реестра, охваченных оценкой
  • Доля показателей со ссылками на подтверждающие данные
  • Давность данных, используемых в расчёте

Первые 30 дней

  1. Сверить реестр активов оценочной системы с другими источниками учёта
  2. Запросить у команды или поставщика описание допущений модели
  3. Добавить в панель сведения об охвате и давности данных
06
Проверка в пилоте

Как проверить в пилотном проекте

Проверить видимость реестра AI, владельцев, изменений политик и доказательность принятого решения.

1

Реестр связывает AI-сценарий, владельца, класс данных и развёрнутую модель или поставщика.

2

Изменение политики или конфигурации поставщика имеет проверку и событие аудита.

3

Риск и исключение могут быть показаны владельцу процесса в понятной форме.

Открыть матрицу пилота
07
Контекст рынка

Какие классы решений рассматривать

Управление AI (AI Governance)Непрерывное управление подверженностью угрозам AI (CTEM)Аналитика рисков

Ниже — редакционные профили поставщиков, связанные с доменом угрозы. Это не рейтинг и не подтверждение применимости: заявленные функции следует проверить в вашем пилоте по указанным критериям.

Проверенные источники

Источники и проверка

Сначала — объяснение для русскоязычной команды. Затем — первоисточники, по которым можно проверить границы, методологию и применимость в конкретной архитектуре.

S12 · NISTAI 100-2e2025: Adversarial Machine LearningТаксономия атак и mitigations для adversarial ML.S19 · Cloud Security AllianceAI Controls MatrixКонтрольные домены AI security и governance.