# A18: Отравление данных обучения и дообучения модели (Data poisoning in training/fine-tuning)

> В набор данных для обучения или дообучения попадают специально подготовленные записи, и модель усваивает искажённое поведение. OWASP относит этот риск к категории LLM04: последствиями становятся закладки, предвзятость и небезопасные ответы. Обнаружить проблему после выпуска модели трудно.

- Канонический HTML: [/threats/a18-data-poisoning-in-training-fine-tuning](https://ai-first.tech/threats/a18-data-poisoning-in-training-fine-tuning)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Модель и цепочка поставки

## Как проявляется риск

Компания дообучает модель на собственных или полученных от поставщика данных. Среди них оказываются записи, меняющие поведение модели в определённых условиях. В обычных проверках модель работает нормально, отклонение проявляется только при совпадении условий. Граница доверия нарушается на входе в конвейер обучения: данные принимаются без подтверждения происхождения. Исправление требует повторного обучения на очищенном наборе.

## Влияние на бизнес

- **Операции.** Модель даёт неверные результаты, на которых строятся бизнес-решения, и общее качество падает.
- **Безопасность.** В модели появляется целевая закладка, срабатывающая в заранее заданных условиях.
- **Право и комплаенс.** Предвзятость в решениях модели влечёт регуляторные претензии.
- **Репутация.** Публичные ошибки модели подрывают доверие к продукту.

## Где риск наиболее вероятен

- Дообучение модели на данных подрядчика
- Использование открытых наборов данных
- Обучение на обращениях пользователей
- Модели оценки и отбора с влиянием на людей

## Кому и что решать

- **ИТ-директор.** Требовать версионирования наборов данных и описи состава модели (ML-BOM) для каждого выпуска.
- **Директор по кибербезопасности.** Обеспечить проверку происхождения данных, оценку поставщиков и изолированную среду для обучения.
- **Владелец бизнес-процесса.** Понимать, на чьих данных обучена модель, и включать требования к происхождению в договоры.

## Признаки для службы мониторинга

- Резкие скачки функции потерь и метрик при обучении
- Аномальная разметка в части записей
- Неожиданное ухудшение результатов по отдельным группам
- В данных обнаруживаются повторяющиеся признаки-триггеры
- Происхождение части набора данных не подтверждено

## Меры защиты

- **Проверка поставщиков данных** (организационная). Оценивать поставщиков наборов данных и фиксировать требования к происхождению в договоре.
- **Учёт происхождения данных** (техническая). Сохранять для каждой записи сведения об источнике, чтобы проблемную часть можно было изъять.
- **Версионирование наборов данных** (техническая). Хранить версии наборов и связывать их с выпусками модели через опись состава (ML-BOM).
- **Изолированная среда обучения** (техническая). Обучать и проверять модель на новых данных в изолированной среде до допуска в промышленную.
- **Выявление аномалий в данных** (мониторинг). Автоматически искать нетипичные записи и разметку перед обучением и отслеживать метрики в его ходе.

## Вопросы команде и поставщику

- Откуда получены данные для дообучения и кто это подтвердил?
- Можно ли установить, на какой версии данных обучен текущий выпуск?
- Проверяются ли данные на аномалии перед обучением?
- Как проверяются внешние поставщики данных?

## Показатели контроля

- Доля обучающих данных с подтверждённым происхождением
- Доля выпусков модели с оформленной описью состава
- Число аномальных записей, выявленных до обучения

## Первые 30 дней

- Составить перечень источников данных для текущих моделей
- Ввести версионирование наборов данных
- Проверить последний обучающий набор на аномалии

## Классы решений

- Безопасность жизненного цикла ML (MLSecOps)
- Защита цепочки поставок AI
- Управление AI

## Сопоставления

- OWASP: LLM03, LLM04
- MITRE: ATLAS: ML Supply Chain
- NIST: NIST AI 100-2: Poisoning

## Первоисточники

- [OWASP: LLM04:2025 Data and Model Poisoning](https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/) — Отравление данных и моделей.
- [NIST: AI 100-2e2025: Adversarial Machine Learning](https://csrc.nist.gov/pubs/ai/100/2/e2025/final) — Таксономия атак и mitigations для adversarial ML.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.