A11 · Защита данных и RAG

Журналы запросов к AI как хранилище чувствительных данных

Запросы сотрудников к AI и ответы модели сохраняются в журналах и системах мониторинга. В них оказываются код, договоры, персональные данные и коммерческая тайна. Даже при защищённой модели эти журналы становятся отдельным каналом утечки.

Иллюстрация к карточке угрозы «Журналы запросов к AI как хранилище чувствительных данных»
Отправить с описанием:TelegramWhatsApp
Кратко для руководителя

В чём суть риска

Запросы сотрудников к AI и ответы модели сохраняются в журналах и системах мониторинга. В них оказываются код, договоры, персональные данные и коммерческая тайна. Даже при защищённой модели эти журналы становятся отдельным каналом утечки.

AI-сервис пишет запросы и ответы в телеметрию, системы мониторинга производительности и журналы поддержки. Эти данные часто уходят во внешний облачный сервис наблюдаемости или в систему бизнес-аналитики. Там нет шифрования, сроков хранения и разграничения доступа. Граница доверия нарушается в момент, когда содержимое диалога покидает защищённый контур под видом технических данных. Доступ к нему получают люди и системы, которым исходные документы никогда бы не выдали.

Связь со стандартамиOWASPLLM02, LLM08MITRE / ATT&CKATLAS: ExfiltrationNISTNIST AI 100-2: Privacy
01
Влияние на бизнес

Чем риск оборачивается для компании

Данные

Коммерческая тайна, исходный код и внутренние решения накапливаются в одном месте без защиты.

Право и комплаенс

Персональные данные хранятся без установленного срока и без контроля доступа.

Репутация

Утечка переписки с AI раскрывает содержание внутренних обсуждений.

Где риск наиболее вероятен

Корпоративный чат-ассистент с полной записью диалоговAI-помощник разработчикаТрассировка запросов во внешнем облачном сервисеОтладочный режим в промышленной среде
02
Зоны ответственности

Кому и что решать

ИТ-директор

Определить, в какие системы попадают журналы AI-запросов, и закрепить за каждым хранилищем владельца и срок хранения.

Директор по кибербезопасности

Распространить на телеметрию AI те же требования, что действуют для исходных данных: шифрование, разграничение доступа, контроль утечек.

Владелец бизнес-процесса

Исходить из того, что всё введённое в AI-сервис сохраняется, и согласовать, какие данные допустимо в него передавать.

03
Сигналы для службы мониторинга

Что стоит наблюдать

Признаки сами по себе не доказывают инцидент. Их полезно сопоставлять с учётной записью, версией модели, решением политики, источником контекста и результатом вызова инструмента.

В журналах обнаруживается большой объём персональных данных
Доступ к журналам AI не ограничен по ролям
Трассировки запросов можно выгрузить целиком
Для журналов не задан срок хранения
В промышленной среде включён отладочный режим
04
Проектирование защиты

Какие меры создают границу

Меры работают в связке и не перекладывают ответственность на модель: важны границы полномочий, владелец, телеметрия и процедура безопасного отказа.

01Техническая

Маскирование данных в журналах

Удалять или скрывать чувствительные фрагменты до записи в журнал.

02Техническая

Шифрование и разграничение доступа

Шифровать журналы и выдавать доступ к диалогам по ролям.

03Организационная

Политика сроков хранения

Установить срок хранения журналов AI и порядок их удаления.

04Организационная

Проверка на соответствие требованиям приватности

Проводить оценку приватности при подключении каждой новой системы, получающей журналы AI.

05Мониторинг

Контроль утечек в телеметрии

Применять средства предотвращения утечек (DLP) к потокам телеметрии и выявлять чувствительные данные в них.

05
Управленческий контроль

Вопросы, показатели и первые шаги

Вопросы команде и поставщику

  1. Где физически хранятся запросы сотрудников к AI и ответы модели?
  2. Кто имеет доступ к этим журналам и на каком основании?
  3. Через какой срок журналы удаляются?
  4. Передаются ли журналы внешним сервисам наблюдаемости и на каких условиях?

Показатели контроля

  • Доля хранилищ журналов AI с заданным сроком хранения
  • Число срабатываний контроля утечек на потоках телеметрии
  • Число учётных записей с доступом к полным текстам диалогов

Первые 30 дней

  1. Составить перечень систем, куда записываются запросы и ответы AI
  2. Отключить отладочный режим в промышленной среде
  3. Ограничить доступ к журналам и задать срок их хранения
06
Проверка в пилоте

Как проверить в пилотном проекте

Подтвердить, что поиск контекста учитывает права, классификацию и происхождение документов.

1

Права доступа к документу проверяются до включения в найденный контекст.

2

Политика маскирования и предотвращения утечек данных проверяется на согласованном наборе чувствительных данных.

3

Трассировка хранит атрибуцию источника и решение доступа без избыточного раскрытия содержимого.

Открыть матрицу пилота
07
Контекст рынка

Какие классы решений рассматривать

Наблюдаемость LLMЗащита данных для AIШлюз AI

Ниже — редакционные профили поставщиков, связанные с доменом угрозы. Это не рейтинг и не подтверждение применимости: заявленные функции следует проверить в вашем пилоте по указанным критериям.

Проверенные источники

Источники и проверка

Сначала — объяснение для русскоязычной команды. Затем — первоисточники, по которым можно проверить границы, методологию и применимость в конкретной архитектуре.

S03 · OWASPLLM02:2025 Sensitive Information DisclosureРиски раскрытия чувствительной информации через LLM.S14 · CISAJoint Guidance on Deploying AI Systems SecurelyБезопасное внедрение AI-систем.