A37 · Безопасность AI-агентов

Автоматический вызов агентов и межагентная эскалация

Скомпрометированный агент может запустить другой агент или приложение, расширяя последствия. Исследование Promptware описывает такие сценарии. Область поражения растёт: от календаря к умному дому, от почты к CRM, от документа к системам заявок и автоматизации реагирования.

Иллюстрация к карточке угрозы «Автоматический вызов агентов и межагентная эскалация»
Отправить с описанием:TelegramWhatsApp
Кратко для руководителя

В чём суть риска

Скомпрометированный агент может запустить другой агент или приложение, расширяя последствия. Исследование Promptware описывает такие сценарии. Область поражения растёт: от календаря к умному дому, от почты к CRM, от документа к системам заявок и автоматизации реагирования.

Агент обрабатывает один источник и имеет возможность обращаться к соседним приложениям и агентам. Под влиянием обработанного содержимого он инициирует другой инструмент без осознанного решения пользователя. Вызванное приложение исполняет запрос, поскольку он пришёл от доверенного агента. Граница доверия нарушается на стыке приложений: права одного контура переносятся в другой без проверки. Цепочка вызовов удлиняется, а исходная причина скрывается за промежуточными шагами.

Связь со стандартамиOWASPLLM06MITRE / ATT&CKATLAS: Agent Tool MisuseNISTNIST AI RMF: Manage
01
Влияние на бизнес

Чем риск оборачивается для компании

Безопасность

Сбой в одном приложении распространяется на смежные системы, включая средства реагирования.

Операции

Непредусмотренные действия в CRM и системах заявок нарушают работу подразделений.

Данные

Сведения из одного контура попадают в другой, где для них нет правил обращения.

Где риск наиболее вероятен

Многоагентные системы с взаимным вызовомАссистенты, объединяющие почту, календарь и CRMАвтоматизация заявок и реагирования на инцидентыАгенты, управляющие устройствами
02
Зоны ответственности

Кому и что решать

ИТ-директор

Проектировать агентные решения с явными границами между приложениями.

Директор по кибербезопасности

Обеспечить политику границ действий, блокировку операций высокого риска и аудит цепочек вызовов.

Владелец бизнес-процесса

Понимать, какие смежные системы затронет сбой агента, работающего в процессе.

03
Сигналы для службы мониторинга

Что стоит наблюдать

Признаки сами по себе не доказывают инцидент. Их полезно сопоставлять с учётной записью, версией модели, решением политики, источником контекста и результатом вызова инструмента.

Длинные цепочки вызовов инструментов в ответ на простой запрос
Действия в приложениях, к которым запрос пользователя не относился
Переходы между приложениями происходят без подтверждений
Один агент запускает другого без участия человека
Действия не связаны с запросом пользователя
04
Проектирование защиты

Какие меры создают границу

Меры работают в связке и не перекладывают ответственность на модель: важны границы полномочий, владелец, телеметрия и процедура безопасного отказа.

01Организационная

Политика границ действий

Определить, какие переходы между агентами и приложениями допустимы.

02Техническая

Права на уровне приложений

Выдавать разрешения отдельно для каждого приложения, чтобы доступ к одному не открывал другое.

03Техническая

Явное подтверждение переходов

Запрашивать согласие пользователя при обращении агента к другому приложению или агенту.

04Техническая

Блокировка действий высокого риска

Запретить автоматическое выполнение операций с существенными последствиями в цепочке.

05Мониторинг

Аудит цепочек вызовов

Сохранять полную последовательность вызовов и выявлять межприложенческие действия без подтверждения.

05
Управленческий контроль

Вопросы, показатели и первые шаги

Вопросы команде и поставщику

  1. Какие агенты могут вызывать другие агенты и приложения?
  2. Где в цепочке решение принимает человек?
  3. Что станет доступно при компрометации одного агента?
  4. Можем ли мы восстановить всю последовательность действий?

Показатели контроля

  • Доля межприложенческих действий, выполненных с подтверждением
  • Число цепочек вызовов, вышедших за пределы запроса
  • Доля агентов с описанными границами действий

Первые 30 дней

  1. Составить схему связей между агентами и приложениями
  2. Отключить автоматические переходы к системам высокого риска
  3. Включить сквозной журнал цепочек вызовов
06
Проверка в пилоте

Как проверить в пилотном проекте

Проверить, что использование инструментов агентом ограничено целью, полномочиями и подтверждением человека для чувствительных действий.

1

Каждый инструмент имеет отдельную учётную запись, список разрешений и ограниченные полномочия.

2

Чувствительное действие останавливается до явного согласования по политике.

3

Журнал аудита связывает намерение, вызов инструмента, решение и результат.

Открыть матрицу пилота
07
Контекст рынка

Какие классы решений рассматривать

Защита AI-агентовШлюз AIЗащитные ограничения для SOAR

Ниже — редакционные профили поставщиков, связанные с доменом угрозы. Это не рейтинг и не подтверждение применимости: заявленные функции следует проверить в вашем пилоте по указанным критериям.

Проверенные источники

Источники и проверка

Сначала — объяснение для русскоязычной команды. Затем — первоисточники, по которым можно проверить границы, методологию и применимость в конкретной архитектуре.

S15 · CISA / NSACareful Adoption of Agentic AI ServicesКонтроли для agentic AI.S22 · arXivInvitation Is All You Need! Promptware Attacks Against LLM-Powered AssistantsИсследование indirect prompt injection через почту, календарь и документы.