# A06: Многоходовой обход ограничений через постепенную эскалацию (Multi-turn jailbreak / Crescendo-like behavior)

> Контекст выстраивается постепенно: каждое сообщение по отдельности выглядит безопасно, но диалог в целом ведёт модель к нарушению политики. Фильтры, проверяющие одно сообщение, не видят полного намерения.

- Канонический HTML: [/threats/a06-multi-turn-jailbreak-crescendo-like-behavior](https://ai-first.tech/threats/a06-multi-turn-jailbreak-crescendo-like-behavior)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Безопасность языковых моделей

## Как проявляется риск

Разговор начинается с нейтральной темы. Затем запросы шаг за шагом уточняются, меняется подача, и диалог приходит к нежелательному результату. Граница доверия размывается во времени: накопленная история становится для модели контекстом, которому она следует. Средство защиты, оценивающее только последнюю реплику, пропускает такую цепочку.

## Влияние на бизнес

- **Безопасность.** Корпоративные политики обходятся незаметно для средств защиты.
- **Репутация.** Длинный диалог с нарушением легко предъявить публично как провал продукта.
- **Финансы.** Длинные сессии расходуют вычислительный бюджет сервиса.

## Где риск наиболее вероятен

- Ассистенты с длинными сессиями
- Чат-боты с памятью о прошлых диалогах
- Образовательные и консультационные ассистенты
- Публичные диалоговые сервисы

## Кому и что решать

- **ИТ-директор.** Задать пределы длины сессии и правила хранения памяти диалога.
- **Директор по кибербезопасности.** Обеспечить оценку риска на уровне всего разговора и оповещения о признаках эскалации.
- **Владелец бизнес-процесса.** Согласовать баланс между удобством длинных диалогов и ограничениями сессий.

## Признаки для службы мониторинга

- Тема диалога последовательно смещается от нейтральной к чувствительной
- Пользователь задаёт цепочку уточнений, каждое из которых идёт чуть дальше
- Звучат просьбы дать чисто академическое описание опасного действия
- Оценка риска сессии растёт от реплики к реплике
- Сессия намного длиннее типичной для сервиса

## Меры защиты

- **Оценка риска всего диалога** (техническая). Рассчитывать риск по истории разговора, а не по одной реплике. Становится видно накопленное намерение.
- **Управление памятью сессии** (техническая). Ограничивать объём и срок хранения контекста, чтобы история не накапливалась бесконтрольно.
- **Лимиты на сессию** (техническая). Установить пределы числа реплик и расхода ресурсов на один диалог.
- **Правила работы с длинными сессиями** (организационная). Определить допустимую длину диалога и порядок его принудительного завершения.
- **Оповещения о признаках эскалации** (мониторинг). Вести историю намерений и сигнализировать при последовательном смещении к запрещённым темам.

## Вопросы команде и поставщику

- Оценивают ли средства защиты диалог целиком?
- Есть ли предел длины сессии и что происходит при его достижении?
- Сколько хранится память диалога?
- Включены ли многоходовые сценарии в тестирование?

## Показатели контроля

- Доля сессий, охваченных оценкой на уровне диалога
- Число оповещений об эскалации
- Распределение длины сессий

## Первые 30 дней

- Выяснить, на каком уровне работают фильтры: реплика или диалог
- Установить лимиты на длину сессии
- Добавить многоходовые сценарии в план тестирования

## Классы решений

- Межсетевой экран для LLM
- Наблюдаемость LLM
- Тестирование защищённости AI

## Сопоставления

- OWASP: LLM01
- MITRE: ATLAS: Prompt Injection
- NIST: NIST AI 100-2: Evasion

## Первоисточники

- [OWASP: LLM01:2025 Prompt Injection](https://genai.owasp.org/llmrisk/llm01-prompt-injection/) — Прямые и косвенные prompt injection и меры снижения риска.
- [arXiv: Layered Security Framework Against Prompt Injection in RAG-Based Chatbots](https://arxiv.org/abs/2606.19660) — Defense-in-depth для RAG prompt injection.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.