# A17: Манипуляция ранжированием результатов поиска в RAG (Retrieval ranking manipulation)

> Злоумышленник влияет на то, какие документы ассистент извлекает чаще всего, и вытесняет проверенные источники своим материалом. Модель начинает опираться на некачественный или злонамеренный источник. Итогом становятся неверные решения.

- Канонический HTML: [/threats/a17-retrieval-ranking-manipulation](https://ai-first.tech/threats/a17-retrieval-ranking-manipulation)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Защита данных и RAG

## Как проявляется риск

Документ готовится так, чтобы попадать в верхние позиции выдачи по популярным запросам. Для этого используется насыщение текста ключевыми словами или подмена метаданных. Поисковый механизм оценивает близость к запросу, но не надёжность источника. Доверенные материалы оказываются ниже и не попадают в контекст модели. Граница доверия нарушается на этапе отбора: релевантность принимается за достоверность.

## Влияние на бизнес

- **Операции.** Сотрудники получают ответы, основанные на слабом источнике, и принимают ошибочные решения.
- **Репутация.** Ассистент теряет доверие пользователей, когда расхождения с официальными документами становятся заметны.
- **Данные.** Нарушается целостность корпоративного знания: проверенные материалы фактически не используются.

## Где риск наиболее вероятен

- Поиск по базе знаний со свободной публикацией
- Ассистент, индексирующий внешние сайты
- Справочная система с редактируемыми метаданными
- Ответы по регламентам и политикам

## Кому и что решать

- **ИТ-директор.** Заложить в поисковую архитектуру учёт надёжности источника, а не только близости к запросу.
- **Директор по кибербезопасности.** Обеспечить проверку метаданных и аудит того, какие документы попадают в верхние позиции выдачи.
- **Владелец бизнес-процесса.** Определить ответы с высокой ценой ошибки и ввести для них проверку человеком.

## Признаки для службы мониторинга

- В верхних позициях выдачи появляются нетипичные документы
- Один источник представлен в ответах непропорционально часто
- Метаданные документа выглядят подозрительно или не соответствуют содержанию
- В тексте документа многократно повторяются ключевые слова
- Доверенные источники перестают появляться в ответах по привычным темам

## Меры защиты

- **Взвешивание источников** (техническая). Присваивать источникам вес и оценку доверия, чтобы проверенные материалы имели приоритет.
- **Проверка метаданных** (техническая). Проверять метаданные при приёме документа и ограничить право их изменения.
- **Проверка значимых ответов человеком** (организационная). Утвердить перечень тем, по которым ответ ассистента подтверждает специалист.
- **Аудит пар «запрос — результат»** (мониторинг). Регулярно анализировать, какие документы извлекаются по частым запросам.
- **Контроль доли источников** (мониторинг). Отслеживать распределение источников в выдаче и реагировать на резкий рост доли одного из них.

## Вопросы команде и поставщику

- Учитывает ли поиск надёжность источника?
- Кто может менять метаданные документов?
- Какие источники чаще всего формируют ответы ассистента?
- По каким темам ответ проверяет человек?

## Показатели контроля

- Доля ответов, основанных на доверенных источниках
- Максимальная доля одного источника в выдаче
- Число документов, отклонённых при проверке метаданных

## Первые 30 дней

- Выгрузить наиболее часто извлекаемые документы и оценить их надёжность
- Разметить источники по уровню доверия
- Определить темы, требующие проверки человеком

## Классы решений

- Защита RAG
- Наблюдаемость LLM

## Сопоставления

- OWASP: LLM02, LLM08
- MITRE: ATLAS: Exfiltration
- NIST: NIST AI 100-2: Privacy

## Первоисточники

- [OWASP: LLM08:2025 Vector and Embedding Weaknesses](https://genai.owasp.org/llmrisk/llm082025-vector-and-embedding-weaknesses/) — RAG, embeddings и векторные хранилища.
- [arXiv: Layered Security Framework Against Prompt Injection in RAG-Based Chatbots](https://arxiv.org/abs/2606.19660) — Defense-in-depth для RAG prompt injection.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.