# A05: Обход защитных ограничений модели (Jailbreak guardrail bypass)

> Это попытка обойти ограничения безопасности и правила использования модели, чтобы получить запрещённое поведение или ответ. Компания рискует генерацией вредного контента, нарушением собственных политик, юридическими и репутационными последствиями.

- Канонический HTML: [/threats/a05-jailbreak-guardrail-bypass](https://ai-first.tech/threats/a05-jailbreak-guardrail-bypass)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Безопасность языковых моделей

## Как проявляется риск

Пользователь выстраивает многошаговый диалог или маскирует намерение, и модель постепенно уходит от исходных ограничений. Уязвимость в том, что ограничения исполняет сама модель. Граница доверия нарушается, когда единственным контролёром политики остаётся система, которую и пытаются переубедить. Поэтому надёжная защита выносит применение правил за пределы модели.

## Влияние на бизнес

- **Репутация.** Вредный контент, созданный корпоративным ассистентом, связывают с брендом компании.
- **Право и комплаенс.** Запрещённые ответы влекут юридические последствия и нарушают внутренние политики.
- **Операции.** Сервис приходится ограничивать или приостанавливать на время разбирательства.

## Где риск наиболее вероятен

- Публичные чат-боты
- Ассистенты генерации текстов и изображений
- Сервисы на открытых моделях с собственными ограничениями
- Клиентские ассистенты

## Кому и что решать

- **ИТ-директор.** Предусмотреть в архитектуре применение политик вне модели и канал передачи спорных случаев человеку.
- **Директор по кибербезопасности.** Обеспечить классификацию ответов, оценку намерения и проверку устойчивости в многоходовых диалогах.
- **Владелец бизнес-процесса.** Определить, какой контент недопустим для продукта, и кто рассматривает спорные обращения.

## Признаки для службы мониторинга

- Многошаговые просьбы о ролевой игре с изменением правил поведения
- Запрещённое намерение замаскировано или подано в искажённой форме
- Пользователь просит модель саму перепроверить и изменить свои правила
- Классификатор ответов фиксирует запрещённые категории контента
- Один пользователь получает серию отказов подряд

## Меры защиты

- **Применение политик вне модели** (техническая). Вынести проверку правил в отдельный компонент. Ограничения действуют, даже если модель удалось переубедить.
- **Классификация ответов модели** (техническая). Оценивать каждый ответ по категориям запрещённого контента до выдачи пользователю.
- **Выявление намерения запроса** (техническая). Определять реальную цель обращения независимо от формы подачи.
- **Передача спорных случаев эксперту** (организационная). Установить порядок, по которому неоднозначные обращения рассматривает человек.
- **Оценка устойчивости в диалогах** (мониторинг). Регулярно проверять модель многоходовыми сценариями и отслеживать изменение результатов.

## Вопросы команде и поставщику

- Что остановит запрещённый ответ, если сама модель согласилась его дать?
- Проверяется ли устойчивость в длинных диалогах, а не только на одиночных запросах?
- Кто рассматривает спорные случаи?
- Как меняется устойчивость после обновления модели?

## Показатели контроля

- Доля ответов, остановленных внешним классификатором
- Число обращений, переданных на рассмотрение человеку
- Результат многоходовой оценки устойчивости в динамике

## Первые 30 дней

- Проверить, есть ли контроль ответов вне модели
- Сформулировать перечень недопустимого контента
- Назначить ответственного за спорные случаи

## Классы решений

- Межсетевой экран для LLM
- Тестирование защищённости AI
- Оценка безопасности моделей

## Сопоставления

- OWASP: LLM01
- MITRE: ATLAS: Prompt Injection
- NIST: NIST AI 100-2: Evasion

## Первоисточники

- [OWASP: OWASP Top 10 for Large Language Model Applications 2025](https://owasp.org/www-project-top-10-for-large-language-model-applications/) — Таксономия рисков LLM-приложений.
- [OWASP: LLM01:2025 Prompt Injection](https://genai.owasp.org/llmrisk/llm01-prompt-injection/) — Прямые и косвенные prompt injection и меры снижения риска.
- [arXiv: Layered Security Framework Against Prompt Injection in RAG-Based Chatbots](https://arxiv.org/abs/2606.19660) — Defense-in-depth для RAG prompt injection.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.