# LLM02 Раскрытие конфиденциальной информации (Sensitive Information Disclosure)

> Перевод OWASP Top 10 for LLM Applications 2025 (OWASP GenAI Security Project), лицензия CC BY-SA 4.0. Перевод неофициальный.

- Канонический HTML: [/owasp-llm-top-10/llm02](https://ai-first.tech/owasp-llm-top-10/llm02)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## LLM02 Раскрытие конфиденциальной информации (Sensitive Information Disclosure)

Конфиденциальная информация может затрагивать как саму LLM, так и контекст ее применения. К ней относятся персональные данные (personal identifiable information, PII), финансовые сведения, медицинские записи, конфиденциальные бизнес-данные, учетные данные для доступа и юридические документы. Проприетарные модели также могут обладать уникальными методами обучения и исходным кодом, которые считаются конфиденциальными, — особенно это касается закрытых и базовых (foundation) моделей.

LLM, особенно встроенные в приложения, создают риск раскрытия через свои выходные данные конфиденциальных данных, проприетарных алгоритмов или закрытых сведений. Это может приводить к несанкционированному доступу к данным, нарушениям конфиденциальности и нарушению прав на интеллектуальную собственность. Пользователи должны знать, как безопасно взаимодействовать с LLM. Им необходимо понимать риски непреднамеренной передачи конфиденциальных данных, которые впоследствии могут быть раскрыты в выводе модели.

Чтобы снизить этот риск, приложения на базе LLM должны выполнять надлежащую очистку данных (data sanitization), не допуская попадания пользовательских данных в обучаемую модель. Владельцам приложений также следует публиковать понятные условия использования (Terms of Use), позволяющие пользователям отказаться от включения своих данных в обучение модели. Ограничения в системных инструкциях на типы данных, которые может возвращать LLM, способны снизить риск раскрытия конфиденциальной информации. Однако такие ограничения соблюдаются не всегда и могут быть обойдены с помощью внедрения инструкций (prompt injection) или иными методами.

### Типовые примеры

- 1. Утечка персональных данных (PII Leakage). Персональные данные (PII) могут быть раскрыты в ходе взаимодействия с LLM.
- 2. Раскрытие проприетарных алгоритмов (Proprietary Algorithm Exposure). Неправильно настроенный вывод модели может раскрыть проприетарные алгоритмы или данные. Раскрытие обучающих данных может сделать модель уязвимой для атак инверсии (inversion attacks), при которых злоумышленники извлекают конфиденциальную информацию или восстанавливают входные данные. Например, как было продемонстрировано в атаке Proof Pudding (CVE-2019-20634), раскрытые обучающие данные облегчили извлечение и инверсию модели, что позволило атакующим обойти механизмы защиты в алгоритмах машинного обучения и обойти почтовые фильтры.
- 3. Раскрытие конфиденциальных бизнес-данных (Sensitive Business Data Disclosure). Сгенерированные ответы могут непреднамеренно содержать конфиденциальную деловую информацию.

### Меры предотвращения

- Очистка данных — 1. Внедрение методов очистки данных. Применяйте очистку данных, чтобы не допустить попадания пользовательских данных в обучаемую модель. Это включает удаление или маскирование конфиденциального содержимого до его использования в обучении.
- Очистка данных — 2. Строгая проверка входных данных. Применяйте строгие методы проверки входных данных, чтобы обнаруживать и отфильтровывать потенциально вредоносные или конфиденциальные входные данные и не допускать компрометации модели.
- Контроль доступа — 1. Строгий контроль доступа. Ограничивайте доступ к конфиденциальным данным по принципу минимальных привилегий. Предоставляйте доступ только к тем данным, которые необходимы конкретному пользователю или процессу.
- Контроль доступа — 2. Ограничение источников данных. Ограничьте доступ модели к внешним источникам данных и обеспечьте безопасное управление оркестрацией данных во время выполнения, чтобы избежать непреднамеренной утечки.
- Федеративное обучение и методы защиты приватности — 1. Применение федеративного обучения (federated learning). Обучайте модели на децентрализованных данных, хранящихся на нескольких серверах или устройствах. Такой подход сводит к минимуму необходимость централизованного сбора данных и снижает риски их раскрытия.
- Федеративное обучение и методы защиты приватности — 2. Применение дифференциальной приватности (differential privacy). Используйте методы, добавляющие шум к данным или выходным данным, что затрудняет восстановление злоумышленниками отдельных записей.
- Обучение пользователей и прозрачность — 1. Обучение пользователей безопасной работе с LLM. Предоставляйте рекомендации о том, как избегать ввода конфиденциальной информации. Проводите обучение лучшим практикам безопасного взаимодействия с LLM.
- Обучение пользователей и прозрачность — 2. Прозрачность использования данных. Поддерживайте четкие политики хранения, использования и удаления данных. Дайте пользователям возможность отказаться от включения их данных в процессы обучения.
- Безопасная конфигурация системы — 1. Сокрытие системной преамбулы. Ограничьте возможность пользователей переопределять исходные настройки системы или получать к ним доступ, снижая риск раскрытия внутренней конфигурации.
- Безопасная конфигурация системы — 2. Следование лучшим практикам по предотвращению ошибок конфигурации. Следуйте рекомендациям, например OWASP API8:2023 Security Misconfiguration, чтобы предотвратить утечку конфиденциальной информации через сообщения об ошибках или сведения о конфигурации (см.: OWASP API8:2023 Security Misconfiguration, https://owasp.org/API-Security/editions/2023/en/0xa8-security-misconfiguration/).
- Продвинутые методы — 1. Гомоморфное шифрование (homomorphic encryption). Используйте гомоморфное шифрование для безопасного анализа данных и машинного обучения с сохранением приватности. Это обеспечивает конфиденциальность данных во время их обработки моделью.
- Продвинутые методы — 2. Токенизация и редактирование (tokenization and redaction). Применяйте токенизацию для предварительной обработки и очистки конфиденциальной информации. Такие методы, как сопоставление с шаблонами (pattern matching), позволяют обнаруживать и удалять конфиденциальное содержимое до обработки.

### Сценарии атак

- Сценарий 1. Непреднамеренное раскрытие данных. Пользователь получает ответ, содержащий персональные данные другого пользователя, из-за недостаточной очистки данных.
- Сценарий 2. Целенаправленное внедрение инструкций. Атакующий обходит входные фильтры, чтобы извлечь конфиденциальную информацию.
- Сценарий 3. Утечка через обучающие данные. Неосмотрительное включение данных в обучающую выборку приводит к раскрытию конфиденциальной информации.