# A10: Раскрытие чувствительных данных в ответах модели (Sensitive Information Disclosure via model output)

> Ассистент включает в ответ персональные, финансовые, медицинские или коммерческие сведения, которые пользователю видеть не положено. OWASP описывает этот риск в категории LLM02; для компании он означает нарушение NDA, коммерческой тайны и требований к персональным данным.

- Канонический HTML: [/threats/a10-sensitive-information-disclosure-via-model-output](https://ai-first.tech/threats/a10-sensitive-information-disclosure-via-model-output)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Защита данных и RAG

## Как проявляется риск

Ассистент отвечает на основе слишком широкого контекста и добавляет данные другого клиента, подразделения или проекта. Причина обычно не в модели, а в том, что поиск по источникам не учитывает права конкретного пользователя. Граница доверия нарушается, когда ассистент читает с правами шире, чем у спрашивающего. Сотрудник при этом не делает ничего необычного: он задаёт рабочий вопрос.

## Влияние на бизнес

- **Право и комплаенс.** Нарушаются соглашения о конфиденциальности, режим коммерческой тайны и отраслевые требования.
- **Данные.** Персональные и коммерческие сведения выходят за пределы разрешённого круга лиц.
- **Репутация.** Клиенты теряют доверие, узнав, что их данные показаны посторонним.

## Где риск наиболее вероятен

- Корпоративный поиск по документам
- Ассистенты поддержки с доступом к клиентским записям
- Сервисы для нескольких клиентов на общей базе
- Ассистенты кадровых и финансовых подразделений

## Кому и что решать

- **ИТ-директор.** Обеспечить, чтобы ассистент наследовал права доступа пользователя во всех подключённых источниках.
- **Директор по кибербезопасности.** Внедрить контроль ответов на чувствительные данные и принцип минимизации данных в контексте.
- **Владелец бизнес-процесса.** Определить, какие категории данных процесса ассистент не должен показывать вовсе.

## Признаки для службы мониторинга

- Ответ содержит персональные данные или секреты
- Права пользователя не совпадают с правами на документ, использованный в ответе
- Контекст подтягивается из закрытых источников
- В ссылках на источники появляются нетипичные для пользователя документы
- Пользователи сообщают, что видят сведения другого подразделения

## Меры защиты

- **Поиск с учётом прав доступа** (техническая). Отбирать в контекст только документы, разрешённые конкретному пользователю.
- **Ролевое и атрибутное разграничение** (техническая). Применять единую модель прав ко всем источникам, подключённым к ассистенту.
- **Контроль утечек в ответах** (техническая). Проверять ответы на чувствительные данные и блокировать или маскировать их до выдачи.
- **Маскирование и замена значений** (техническая). Заменять чувствительные поля обезличенными значениями до попадания в контекст.
- **Минимизация данных в контексте** (организационная). Подключать к ассистенту только источники, необходимые для задачи, и пересматривать этот перечень.
- **Контроль несоответствия прав** (мониторинг). Отслеживать случаи, когда в ответе использован документ, недоступный пользователю напрямую.

## Вопросы команде и поставщику

- С чьими правами ассистент читает документы?
- Может ли сотрудник получить через ассистента то, чего не откроет сам?
- Проверяются ли ответы на чувствительные данные?
- Какие источники подключены и кто это согласовал?

## Показатели контроля

- Число ответов, остановленных контролем утечек
- Число случаев несоответствия прав пользователя и источника
- Доля источников, подключённых с наследованием прав

## Первые 30 дней

- Составить перечень подключённых источников
- Проверить на выборке запросов соблюдение прав доступа
- Включить проверку ответов на персональные данные

## Классы решений

- Защита от утечек данных для AI
- Защита RAG
- Шлюз AI

## Сопоставления

- OWASP: LLM02, LLM08
- MITRE: ATLAS: Exfiltration
- NIST: NIST AI 100-2: Privacy

## Первоисточники

- [OWASP: LLM02:2025 Sensitive Information Disclosure](https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/) — Риски раскрытия чувствительной информации через LLM.
- [OWASP: LLM08:2025 Vector and Embedding Weaknesses](https://genai.owasp.org/llmrisk/llm082025-vector-and-embedding-weaknesses/) — RAG, embeddings и векторные хранилища.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.