# A38: Небезопасная передача вывода модели в смежные системы (Unsafe output handling into downstream systems)

> Ответ модели — недоверенные данные. Если приложение исполняет или интерпретирует его без проверки, возможно внедрение в смежные системы. OWASP LLM05 выделяет небезопасную обработку вывода как отдельный риск. Итог — повреждённые записи, небезопасная автоматизация и злоупотребление рабочими процессами.

- Канонический HTML: [/threats/a38-unsafe-output-handling-into-downstream-systems](https://ai-first.tech/threats/a38-unsafe-output-handling-into-downstream-systems)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Безопасная разработка AI

## Как проявляется риск

Модель формирует текст, который приложение затем использует как запрос к базе данных, команду, разметку страницы или фрагмент кода. Разработчики относятся к выводу как к результату работы собственной системы и не проверяют его. Граница доверия нарушается на стыке модели и приложения. Содержимое ответа зависит от входных данных, которые модель получила, в том числе от посторонних. Принимающая система исполняет его с собственными правами.

## Влияние на бизнес

- **Безопасность.** Возможны внедрение запросов, команд, сценариев и шаблонов, а также межсайтовое исполнение сценариев в интерфейсе.
- **Данные.** Записи в учётных системах повреждаются из-за непроверенного вывода.
- **Операции.** Автоматизация выполняет непредусмотренные действия, рабочие процессы используются не по назначению.

## Где риск наиболее вероятен

- Формирование запросов к базам данных на естественном языке
- Вывод ответа модели в веб-интерфейс
- Автоматизация, исполняющая команды по тексту модели
- Генерация шаблонов и конфигураций

## Кому и что решать

- **ИТ-директор.** Включить в требования к AI-приложениям обязательный слой проверки между моделью и исполняющими системами.
- **Директор по кибербезопасности.** Обеспечить проверку вывода по схеме, экранирование и запрет прямого исполнения.
- **Владелец бизнес-процесса.** Знать, какие действия в учётных системах запускаются по тексту модели.

## Признаки для службы мониторинга

- Приложение исполняет вывод модели без промежуточной проверки
- При выводе в интерфейс отсутствует экранирование
- В ответах модели встречаются необычные символы или команды
- Смежные системы возвращают ошибки при обработке вывода
- В записях появляются данные, не соответствующие формату

## Меры защиты

- **Требования к обработке вывода** (организационная). Закрепить в стандартах разработки, что вывод модели считается недоверенным и проверяется.
- **Строгие схемы вывода** (техническая). Принимать только ответы заданной структуры и отклонять остальное.
- **Экранирование под контекст** (техническая). Экранировать вывод перед передачей в интерфейс, запрос или шаблон.
- **Перечень разрешённых функций** (техническая). Позволять модели выбирать только из заранее определённых операций, без прямого исполнения текста.
- **Слой проверки перед исполнением** (техническая). Разместить между моделью и принимающей системой отдельный компонент проверки.
- **Контроль ошибок смежных систем** (мониторинг). Отслеживать отклонённые ответы и ошибки принимающих систем.

## Вопросы команде и поставщику

- В каких приложениях вывод модели попадает в запросы, команды или разметку?
- Где между моделью и исполнением стоит проверка?
- Проверяются ли AI-приложения на внедрение через вывод модели?
- Кто отвечает за этот контроль?

## Показатели контроля

- Доля интеграций, где вывод проверяется по схеме
- Число ответов, отклонённых слоем проверки
- Доля AI-приложений, прошедших проверку обработки вывода

## Первые 30 дней

- Найти места, где вывод модели исполняется или интерпретируется
- Убрать прямое исполнение, заменив его разрешёнными функциями
- Добавить проверку по схеме и экранирование в приоритетных интеграциях

## Классы решений

- Безопасность AI-приложений
- Межсетевой экран для LLM
- Безопасная разработка (DevSecOps)

## Сопоставления

- OWASP: LLM05, LLM03
- MITRE: ATT&CK: Exploitation for Client Execution
- NIST: NIST SSDF

## Первоисточники

- [OWASP: LLM05:2025 Improper Output Handling](https://genai.owasp.org/llmrisk/llm052025-improper-output-handling/) — Небезопасная обработка модельного вывода.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.