# A19: Отравленная модель со скрытой закладкой (Model poisoning / backdoored model)

> Готовая модель или адаптер может содержать скрытое поведение, которое включается при определённом входе или сценарии. Продукт оказывается скомпрометирован уже на этапе выбора модели. Все, кто пользуется им дальше, доверяют заражённому компоненту.

- Канонический HTML: [/threats/a19-model-poisoning-backdoored-model](https://ai-first.tech/threats/a19-model-poisoning-backdoored-model)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Модель и цепочка поставки

## Как проявляется риск

Команда берёт модель из публичного репозитория, чтобы не обучать собственную. На приёмочных тестах модель ведёт себя штатно. Скрытое поведение проявляется только при редком входе, которого в тестах нет. Граница доверия нарушается при приёме внешнего компонента: успешные тесты принимаются за доказательство безопасности. Модель встраивается в продукт, и закладка переходит ко всем его пользователям.

## Влияние на бизнес

- **Безопасность.** В промышленную систему попадает компонент с поведением, которое компания не контролирует.
- **Репутация.** Клиенты, получившие продукт на основе такой модели, страдают вместе с поставщиком.
- **Операции.** Замена модели после обнаружения закладки требует повторной проверки и перевыпуска продукта.

## Где риск наиболее вероятен

- Модели из публичных репозиториев
- Сторонние адаптеры и дополнения к модели
- Продукты, поставляемые клиентам со встроенной моделью
- Быстрые пилотные проекты без приёмочного контроля

## Кому и что решать

- **ИТ-директор.** Разрешить использование только моделей из доверенного реестра с подтверждённым происхождением.
- **Директор по кибербезопасности.** Обеспечить сканирование моделей, проверку подписей и состязательное тестирование до ввода в эксплуатацию.
- **Владелец бизнес-процесса.** Учитывать в сроках проекта время на проверку внешней модели и не сокращать его ради скорости запуска.

## Признаки для службы мониторинга

- Происхождение модели неизвестно или не подтверждено
- У файлов модели отсутствуют цифровые подписи
- Модель ведёт себя неожиданно на редких входных данных
- Используются адаптеры из недоверенных источников
- Модель попала в среду разработки в обход реестра

## Меры защиты

- **Доверенный реестр моделей** (организационная). Утвердить правило: в разработку и эксплуатацию допускаются только модели из внутреннего реестра.
- **Проверка происхождения и подписей** (техническая). Проверять подпись и источник каждой модели и адаптера перед размещением в реестре.
- **Сканирование моделей** (техническая). Проверять файлы модели специализированными средствами до их использования.
- **Оценка в изолированной среде** (техническая). Испытывать модель отдельно от рабочих систем и данных.
- **Состязательное тестирование перед выпуском** (мониторинг). Проверять поведение модели на нетипичных входах и фиксировать отклонения до промышленного запуска.

## Вопросы команде и поставщику

- Откуда взяты модели, работающие в наших продуктах?
- Проверяются ли подписи и происхождение моделей и адаптеров?
- Проходит ли модель проверку на редких и нетипичных входах?
- Можно ли скачать и запустить модель в обход реестра?

## Показатели контроля

- Доля моделей в эксплуатации с подтверждённым происхождением
- Доля моделей, прошедших сканирование и состязательное тестирование
- Число моделей и адаптеров вне доверенного реестра

## Первые 30 дней

- Составить перечень используемых моделей и адаптеров с указанием источника
- Запретить загрузку моделей в обход реестра
- Проверить подписи и происхождение моделей в эксплуатации

## Классы решений

- Защита цепочки поставок AI
- Реестр моделей
- Тестирование защищённости AI

## Сопоставления

- OWASP: LLM03, LLM04
- MITRE: ATLAS: ML Supply Chain
- NIST: NIST AI 100-2: Poisoning

## Первоисточники

- [OWASP: LLM03:2025 Supply Chain](https://genai.owasp.org/llmrisk/llm032025-supply-chain/) — Цепочка поставки моделей, данных и зависимостей.
- [OWASP: LLM04:2025 Data and Model Poisoning](https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/) — Отравление данных и моделей.
- [MITRE: MITRE ATLAS](https://atlas.mitre.org/) — Тактики и техники против AI-систем.
- [arXiv: Models Are Codes: Security Risks of Loading Untrusted Models](https://arxiv.org/abs/2402.04354) — Исследование рисков загрузки моделей и datasets.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.