# A16: Отравление содержимого корпоративной базы знаний RAG (RAG content poisoning)

> Вредоносный или просто ошибочный документ попадает в базу знаний и начинает влиять на ответы ассистента. Сотрудники и клиенты получают искажённые рекомендации от системы, которой привыкли доверять. Особенно чувствительны поддержка клиентов, кадровые и юридические вопросы.

- Канонический HTML: [/threats/a16-rag-content-poisoning](https://ai-first.tech/threats/a16-rag-content-poisoning)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Модель и цепочка поставки

## Как проявляется риск

В базу знаний загружается документ, внешне похожий на обычную справку. Внутри него содержатся указания, меняющие поведение ассистента, либо неверные сведения. При подходящем вопросе поиск извлекает этот документ, и модель опирается на него наравне с проверенными материалами. Граница доверия нарушается при приёме: содержимое считается достоверным только потому, что оказалось в корпоративном хранилище. Один документ влияет на множество ответов.

## Влияние на бизнес

- **Операции.** Решения принимаются на основе искажённых ответов, и ошибка тиражируется на всех пользователей.
- **Репутация.** Клиенты получают от службы поддержки неверные или небезопасные рекомендации.
- **Право и комплаенс.** Неверные ответы по кадровым и юридическим вопросам создают основания для претензий.
- **Безопасность.** Через базу знаний ассистенту передаются посторонние указания в обход его настроек.

## Где риск наиболее вероятен

- Ассистент службы поддержки клиентов
- Кадровый и юридический справочный помощник
- База знаний с открытым правом загрузки
- Автоматический импорт документов из внешних источников

## Кому и что решать

- **ИТ-директор.** Ввести управляемый процесс пополнения базы знаний с поэтапным приёмом и возможностью отката.
- **Директор по кибербезопасности.** Обеспечить проверку подлинности источников и содержимого до попадания документа в индекс.
- **Владелец бизнес-процесса.** Назначить ответственных за актуальность материалов и порядок их согласования.

## Признаки для службы мониторинга

- В базе появляются новые документы с необычными указаниями для ассистента
- Качество ответов заметно ухудшается
- Состав источников, на которые опираются ответы, смещается
- Растёт число жалоб пользователей на ответы
- Документы добавляются в обход установленного порядка согласования

## Меры защиты

- **Проверка подлинности источников** (техническая). Принимать документы только из подтверждённых источников и от известных авторов.
- **Проверка содержимого при приёме** (техническая). Анализировать новые документы на посторонние указания до индексации.
- **Поэтапный приём и откат** (техническая). Вводить материалы через промежуточную зону и сохранять возможность быстро вернуть прежнее состояние базы.
- **Согласование новых материалов** (организационная). Закрепить процедуру проверки документа ответственным лицом перед публикацией.
- **Журнал изменений базы знаний** (мониторинг). Фиксировать, кто, когда и что добавил или изменил, и сопоставлять изменения с жалобами.

## Вопросы команде и поставщику

- Кто может добавлять документы в базу знаний ассистента?
- Проверяется ли содержимое документа перед индексацией?
- Как быстро можно найти и убрать проблемный документ?
- Кто отвечает за достоверность материалов в каждой области?

## Показатели контроля

- Доля документов, прошедших согласование перед публикацией
- Время от обнаружения проблемного документа до его изъятия
- Число жалоб на ответы ассистента

## Первые 30 дней

- Ограничить круг лиц с правом загрузки в базу знаний
- Включить журнал изменений и проверить возможность отката
- Просмотреть документы, добавленные за последнее время

## Классы решений

- Защита RAG
- Управление базой знаний
- Межсетевой экран для LLM

## Сопоставления

- OWASP: LLM03, LLM04
- MITRE: ATLAS: ML Supply Chain
- NIST: NIST AI 100-2: Poisoning

## Первоисточники

- [OWASP: LLM01:2025 Prompt Injection](https://genai.owasp.org/llmrisk/llm01-prompt-injection/) — Прямые и косвенные prompt injection и меры снижения риска.
- [OWASP: LLM04:2025 Data and Model Poisoning](https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/) — Отравление данных и моделей.
- [OWASP: LLM08:2025 Vector and Embedding Weaknesses](https://genai.owasp.org/llmrisk/llm082025-vector-and-embedding-weaknesses/) — RAG, embeddings и векторные хранилища.
- [arXiv: Layered Security Framework Against Prompt Injection in RAG-Based Chatbots](https://arxiv.org/abs/2606.19660) — Defense-in-depth для RAG prompt injection.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.