В чём суть риска
Агент, наделённый правами шире задачи, способен сделать больше, чем нужно бизнес-процессу: удалить данные, отправить письма, изменить настройки, запустить команды. OWASP LLM06 называет избыточные функции, права и автономность корневыми причинами этого риска.
При подключении агенту выдают токен с широкими правами, хотя задаче достаточно чтения одного набора данных. Пока агент работает штатно, излишек незаметен. При ошибке модели или постороннем влиянии на неё агент использует всё, что ему доступно. Граница доверия нарушена ещё на этапе проектирования: права определены удобством интеграции, а не потребностью процесса. Отсутствие этапов согласования превращает ошибку в совершённое действие.
Чем риск оборачивается для компании
Удаление данных или изменение настроек останавливает рабочие процессы.
Агент получает доступ к сведениям, которые не нужны для его задачи.
Письма, отправленные агентом от имени компании без согласования, затрагивают клиентов и партнёров.
Административный токен агента становится ценной целью.
Где риск наиболее вероятен
Кому и что решать
Закрепить правило: права агента определяются задачей и пересматриваются при её изменении.
Обеспечить минимальные привилегии, ограниченные токены и обязательное посредничество при каждом вызове инструмента.
Определить, какие действия агент вправе совершать сам, а какие требуют решения человека.
Что стоит наблюдать
Признаки сами по себе не доказывают инцидент. Их полезно сопоставлять с учётной записью, версией модели, решением политики, источником контекста и результатом вызова инструмента.
Какие меры создают границу
Меры работают в связке и не перекладывают ответственность на модель: важны границы полномочий, владелец, телеметрия и процедура безопасного отказа.
Регулярный пересмотр прав агентов
Сверять выданные права с фактической задачей и отзывать лишнее.
Минимальные привилегии и ограниченные токены
Выдавать токены только на нужные операции и наборы данных, сужая возможный ущерб.
Исполнение от имени пользователя
Агент действует с правами инициатора запроса и не может превысить его полномочия.
Перечень разрешённых инструментов
Ограничить набор доступных инструментов и проверять каждый вызов на соответствие политике.
Согласование значимых действий
Ввести подтверждение человеком для удаления, рассылки и изменения настроек.
Контроль действий вне задачи
Отслеживать вызовы, не соответствующие задаче, и автономные операции без согласования.
Вопросы, показатели и первые шаги
Вопросы команде и поставщику
- Какие права выданы каждому агенту и чем это обосновано?
- Какие агенты работают под административными учётными записями?
- Какие действия агент может совершить без участия человека?
- Когда права агентов пересматривались последний раз?
Показатели контроля
- Доля агентов с правами, ограниченными задачей
- Число агентов с административными токенами
- Доля значимых действий, прошедших согласование
Первые 30 дней
- Провести инвентаризацию токенов и прав действующих агентов
- Заменить административные токены ограниченными
- Ввести согласование для необратимых действий
Как проверить в пилотном проекте
Проверить, что использование инструментов агентом ограничено целью, полномочиями и подтверждением человека для чувствительных действий.
Каждый инструмент имеет отдельную учётную запись, список разрешений и ограниченные полномочия.
Чувствительное действие останавливается до явного согласования по политике.
Журнал аудита связывает намерение, вызов инструмента, решение и результат.
Какие классы решений рассматривать
Ниже — редакционные профили поставщиков, связанные с доменом угрозы. Это не рейтинг и не подтверждение применимости: заявленные функции следует проверить в вашем пилоте по указанным критериям.
INFERA AI Security portfolio
InfEra Security · AI Security / DevSecOps
INFERA AI.SafeCode · INFERA AI.FirewallSTRAZH AI Control
STRAZH · Corporate AI Security
Shadow AI Audit & Control · LLM Firewall
AIGATE / DevScore / AIPitch
Aitalon · AI Gateway
AIGATE · DevScoreИсточники и проверка
Сначала — объяснение для русскоязычной команды. Затем — первоисточники, по которым можно проверить границы, методологию и применимость в конкретной архитектуре.