В чём суть риска
Агент обладает доверенным доступом к внутренним системам, но его решениями может управлять недоверенное содержимое. Человек без прямого доступа использует привилегии ассистента через данные, которые тот читает.
Агент получает на обработку внешний документ, письмо или страницу. В содержимом есть указание использовать доступ агента к внутренней системе для операции, выгодной постороннему. Модель не отличает данные от распоряжений и действует как «обманутый посредник» (confused deputy). Граница доверия нарушается, когда привилегированный вызов инструмента следует за чтением недоверенного источника. Формально операцию выполняет законная учётная запись, поэтому средства контроля доступа не видят нарушения.
Чем риск оборачивается для компании
Посторонний получает возможность действовать во внутренних системах чужими привилегиями.
Внутренние сведения могут быть извлечены или изменены по указанию из внешнего содержимого.
Операция оформлена на законного пользователя, что затрудняет расследование и распределение ответственности.
Где риск наиболее вероятен
Кому и что решать
Требовать в архитектуре агентных решений разделения каналов данных и управления.
Обеспечить привязку прав действия к источнику запроса и запрет на управление инструментами из внешнего содержимого.
Определить операции, которые агент не должен выполнять после работы с внешними материалами без подтверждения.
Что стоит наблюдать
Признаки сами по себе не доказывают инцидент. Их полезно сопоставлять с учётной записью, версией модели, решением политики, источником контекста и результатом вызова инструмента.
Какие меры создают границу
Меры работают в связке и не перекладывают ответственность на модель: важны границы полномочий, владелец, телеметрия и процедура безопасного отказа.
Политики допустимых действий
Описать, какие операции разрешены агенту в каждом сценарии и при каких условиях.
Авторизация с привязкой к источнику
Разрешать действие только если распоряжение исходит от пользователя, а не из прочитанного содержимого.
Маркировка происхождения контекста
Помечать внешние данные как недоверенные, чтобы политика могла учитывать источник.
Запрет управления инструментами извне
Не допускать вызова инструментов по указаниям из внешнего содержимого.
Подтверждение привилегированных операций человеком
Запрашивать согласие пользователя на привилегированные операции после чтения внешних источников.
Корреляция чтения и действий
Выявлять привилегированные вызовы, следующие за получением недоверенных данных.
Вопросы, показатели и первые шаги
Вопросы команде и поставщику
- Какие агенты одновременно читают внешние данные и имеют доступ к внутренним системам?
- Как система отличает распоряжение пользователя от текста в документе?
- Какие операции требуют подтверждения после работы с внешним содержимым?
- Можно ли по журналу восстановить, что вызвало действие агента?
Показатели контроля
- Доля агентных сценариев с маркировкой происхождения данных
- Число привилегированных вызовов после чтения недоверенных источников
- Доля таких вызовов, прошедших подтверждение человеком
Первые 30 дней
- Выявить агентов, сочетающих внешние источники и привилегированные инструменты
- Ввести подтверждение для их привилегированных действий
- Добавить в журнал сведения об источнике каждого распоряжения
Как проверить в пилотном проекте
Проверить, что использование инструментов агентом ограничено целью, полномочиями и подтверждением человека для чувствительных действий.
Каждый инструмент имеет отдельную учётную запись, список разрешений и ограниченные полномочия.
Чувствительное действие останавливается до явного согласования по политике.
Журнал аудита связывает намерение, вызов инструмента, решение и результат.
Какие классы решений рассматривать
Ниже — редакционные профили поставщиков, связанные с доменом угрозы. Это не рейтинг и не подтверждение применимости: заявленные функции следует проверить в вашем пилоте по указанным критериям.
INFERA AI Security portfolio
InfEra Security · AI Security / DevSecOps
INFERA AI.SafeCode · INFERA AI.FirewallSTRAZH AI Control
STRAZH · Corporate AI Security
Shadow AI Audit & Control · LLM Firewall
AIGATE / DevScore / AIPitch
Aitalon · AI Gateway
AIGATE · DevScoreИсточники и проверка
Сначала — объяснение для русскоязычной команды. Затем — первоисточники, по которым можно проверить границы, методологию и применимость в конкретной архитектуре.