AI-агент соединяет вероятностный вывод модели с детерминированными инструментами. Поэтому вопрос безопасности — не только в том, что агент может предложить, но и в том, какая учётная запись выполняет действие, с какими правами, по какой политике и с каким доказательным следом.
Не передавайте агенту широкие права
Модель не должна быть доверенным субъектом с постоянным доступом к секретам или административным программным интерфейсам. Каждый инструмент получает отдельную сервисную учётную запись, узкие границы полномочий и разрешённый набор операций. Это переносит принцип минимально необходимых полномочий в процессы с агентами и уменьшает последствия ошибочного или спровоцированного решения.
Проверяйте действие до исполнения
Вызов инструмента должен пройти через детерминированный слой: проверку структуры данных, решение политики и проверку бизнес-контекста. Для необратимых, финансовых, административных или чувствительных операций необходимо явное подтверждение человеком. Такое разделение не устраняет риск внедрения инструкций в запрос, но не позволяет тексту в контексте напрямую стать действием.
Ограничивайте радиус и время
Изолированная среда, списки разрешённых сетевых адресов, короткоживущие учётные данные, лимиты действий, тайм-ауты и пределы для цепочки вызовов сдерживают распространение ошибки. Агенту не требуется видеть всю сеть или весь набор интеграций, чтобы решить конкретную бизнес-задачу.
Делайте цепочку объяснимой для SOC
Для расследования нужны учётные записи пользователя и агента, версия модели и политики, найденный контекст с защищёнными ссылками, попытки и результаты вызовов инструментов, а также решения о согласовании или отказе. Журналы следует минимизировать и защищать как чувствительные данные.
Граница применимости. Это защитно-ориентированное объяснение, а не гарантия предотвращения инцидентов. Контроли следует адаптировать через моделирование угроз, требования к данным и процессы реагирования вашей организации.
Международные источники и практики
Сначала мы объясняем практический смысл материала на русском. Ниже — первоисточники для проверки и детального изучения границ применимости.
Читать далее
Подборка учитывает текущую тему и недавно открытые материалы только в этом браузере. История не отправляется на сервер.