# A27: Состязательные примеры и уклонение от распознавания (Adversarial examples / evasion) > Входные данные специально изменяют так, чтобы модель неверно классифицировала объект, событие или транзакцию. Защитные и контрольные системы на основе моделей в результате пропускают угрозу. - Канонический HTML: [/threats/a27-adversarial-examples-evasion](https://ai-first.tech/threats/a27-adversarial-examples-evasion) - Язык: русский - Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода. ## Домен Модель и цепочка поставки ## Как проявляется риск Модель принимает решение по входным данным: изображению, файлу, событию, транзакции. Вход изменён так, что для человека он по-прежнему выглядит нормальным объектом, но решение модели становится другим. Система не фиксирует ошибку, поскольку формально отработала штатно. Граница доверия нарушается там, где решение модели принимается как окончательное, без независимой перепроверки. Особенно уязвимы процессы, в которых модель заменила ручной контроль: антифрод, биометрия, компьютерное зрение, обнаружение вредоносного ПО, аналитика центра мониторинга. ## Влияние на бизнес - **Безопасность.** Средства обнаружения вредоносного ПО и аналитика SOC пропускают реальную угрозу. - **Финансы.** Антифрод-модель одобряет операцию, которую должна была остановить. - **Операции.** Биометрия и системы компьютерного зрения принимают неверные решения о допуске и контроле. ## Где риск наиболее вероятен - Антифрод и транзакционный мониторинг - Биометрическая идентификация - Компьютерное зрение в контроле и допуске - Обнаружение вредоносного ПО и классификация событий SOC ## Кому и что решать - **ИТ-директор.** Не строить критичные процессы на единственной модели: предусмотреть независимую перепроверку и ручной контур. - **Директор по кибербезопасности.** Включить проверку устойчивости моделей к искажённым входным данным в программу тестирования защищённости. - **Владелец бизнес-процесса.** Определить, для каких решений с высокой ценой ошибки обязателен просмотр человеком. ## Признаки для службы мониторинга - Внезапные группы однотипных ошибок классификации - Входные данные с малыми отклонениями от нормальных образцов - Расхождение решений между несколькими моделями по одному объекту - Рост расхождений между оценкой человека и оценкой модели - Ошибки сосредоточены на одном канале или типе объектов ## Меры защиты - **Проверка человеком значимых решений** (организационная). Закрепить перечень решений, которые при высокой цене ошибки подтверждает сотрудник. - **Обучение с учётом искажений** (техническая). Включать в обучение искажённые образцы, повышая устойчивость модели к изменённым входам. - **Валидация входных данных** (техническая). Проверять и нормализовать входные данные до передачи в модель, отсекая нетипичные. - **Ансамблевая перепроверка** (техническая). Сопоставлять решения нескольких независимых моделей и направлять расхождения на разбор. - **Регулярное состязательное тестирование** (мониторинг). Периодически проверять модели на устойчивость и отслеживать всплески ошибок классификации. ## Вопросы команде и поставщику - В каких процессах решение модели никто не перепроверяет? - Проверялись ли наши модели на устойчивость к намеренно изменённым данным? - Как мы узнаем, что модель начала систематически ошибаться? - Даёт ли поставщик модели результаты таких испытаний? ## Показатели контроля - Доля критичных моделей, прошедших состязательное тестирование - Частота расхождений между решением модели и оценкой человека - Доля решений с высокой ценой ошибки, проходящих проверку человеком ## Первые 30 дней - Составить перечень моделей, принимающих защитные и финансовые решения - Определить решения, для которых нужен обязательный ручной контроль - Заказать проверку устойчивости для двух-трёх наиболее критичных моделей ## Классы решений - Тестирование защищённости AI (AI Red Teaming) - Мониторинг моделей - Противодействие мошенничеству ## Сопоставления - OWASP: LLM03, LLM04 - MITRE: ATLAS: ML Supply Chain - NIST: NIST AI 100-2: Poisoning ## Первоисточники - [NIST: AI 100-2e2025: Adversarial Machine Learning](https://csrc.nist.gov/pubs/ai/100/2/e2025/final) — Таксономия атак и mitigations для adversarial ML. - [MITRE: MITRE ATLAS](https://atlas.mitre.org/) — Тактики и техники против AI-систем. ## Ограничение Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.