# A26: Восстановление обучающих данных по ответам модели (Model inversion / membership inference)

> По ответам модели можно вывести свойства обучающих данных или установить, что конкретная запись участвовала в обучении. Для бизнеса это риск раскрытия персональных данных и коммерческой тайны без утечки самой базы.

- Канонический HTML: [/threats/a26-model-inversion-membership-inference](https://ai-first.tech/threats/a26-model-inversion-membership-inference)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Защита данных и RAG

## Как проявляется риск

Модель классификации или скоринга обучена на чувствительных записях и доступна через интерфейс запросов. Атакующий использует серию обращений и анализирует ответы, особенно показатели уверенности модели, чтобы вывести свойства отдельной записи или группы. Исходные данные при этом никто не похищает: сведения извлекаются из поведения модели. Граница доверия нарушается там, где модель считают обезличенным продуктом, хотя она сохраняет следы обучающей выборки. Доступ к модели фактически становится частичным доступом к данным.

## Влияние на бизнес

- **Данные.** Раскрываются персональные данные, коммерческая тайна и чувствительные обучающие записи.
- **Право и комплаенс.** Возникают вопросы регулятора о защите персональных данных, использованных в обучении.
- **Репутация.** Клиенты узнают, что сведения о них можно вывести из публичного сервиса.

## Где риск наиболее вероятен

- Кредитный и страховой скоринг
- Модели на медицинских и кадровых данных
- Классификаторы с выдачей уверенности
- Модели на клиентских данных у партнёров

## Кому и что решать

- **ИТ-директор.** Учитывать в архитектуре, что модель на чувствительных данных наследует их категорию и требует тех же ограничений доступа.
- **Директор по кибербезопасности.** Обеспечить проверку приватности до выпуска и ограничение детализации ответов для внешних потребителей.
- **Владелец бизнес-процесса.** Решить, какая детализация ответа действительно нужна клиенту, и отказаться от избыточной.

## Признаки для службы мониторинга

- Повторяющиеся пробные запросы с небольшими вариациями
- Активное использование показателей уверенности модели
- Запросы с нетипично высоким разнообразием и случайным характером
- Сосредоточенность обращений на граничных случаях
- Серии запросов, относящихся к одному человеку или узкой группе

## Меры защиты

- **Классификация моделей по данным** (организационная). Присваивать модели уровень конфиденциальности исходя из данных, на которых она обучена.
- **Ограничение показателей уверенности** (техническая). Выдавать только итоговое решение или округлённую оценку вместо точных значений.
- **Дифференциальная приватность при обучении** (техническая). Применять там, где это уместно, чтобы снизить влияние отдельной записи на модель.
- **Замедление и лимиты API** (техническая). Ограничивать частоту обращений, затрудняя накопление нужного объёма ответов.
- **Тестирование приватности и контроль запросов** (мониторинг). Проверять модель на раскрытие данных до выпуска и отслеживать серии пробных запросов.

## Вопросы команде и поставщику

- Какие наши модели обучены на персональных данных или коммерческой тайне?
- Проверялись ли они на возможность раскрытия обучающих записей?
- Кому и с какой детализацией выдаются ответы этих моделей?
- Совпадают ли ограничения доступа к модели с ограничениями доступа к её данным?

## Показатели контроля

- Доля моделей на чувствительных данных, прошедших тестирование приватности
- Доля внешних интерфейсов, не выдающих точные показатели уверенности
- Число выявленных серий пробных запросов за период

## Первые 30 дней

- Выделить модели, обученные на персональных и конфиденциальных данных
- Проверить, какие показатели они возвращают внешним потребителям
- Запланировать тестирование приватности для наиболее критичных моделей

## Классы решений

- Управление модельным риском
- Инженерия приватности

## Сопоставления

- OWASP: LLM02, LLM08
- MITRE: ATLAS: Exfiltration
- NIST: NIST AI 100-2: Privacy

## Первоисточники

- [NIST: AI 100-2e2025: Adversarial Machine Learning](https://csrc.nist.gov/pubs/ai/100/2/e2025/final) — Таксономия атак и mitigations для adversarial ML.
- [MITRE: MITRE ATLAS](https://atlas.mitre.org/) — Тактики и техники против AI-систем.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.