Agent Security: как превратить автономность AI в управляемый риск

Контекст: от ответов к действиям

Корпоративный GenAI перестаёт быть только интерфейсом для текста. Агент получает доступ к инструментам, памяти, внутренним документам и API. Такая связка ускоряет операции, но требует новой линии контроля между предложением модели и необратимым действием в системе.

Базовая ошибка — переносить на агент привычную модель доверия к приложению. Агент способен интерпретировать контекст, выбирать инструменты и строить цепочки действий, а значит его полномочия должны быть ограничены не только технически, но и по бизнес-контексту.

Где возникает риск

Ключевые классы риска включают excessive agency, indirect prompt injection, утечки через память и инструменты, а также недостаточный аудит вызовов. Это не отдельные «AI-уязвимости», а свойства системы, где модель соединена с правами и данными.

Контрольная модель: права, подтверждения, наблюдаемость

Практичная модель начинается с least privilege: агент получает ровно тот набор инструментов и данных, который нужен для конкретной задачи. Для чувствительных операций нужны уровни approval, лимиты и явный контекст владельца процесса.

Второй слой — изолированный execution environment. Вызовы инструментов должны проходить через allowlist и policy engine; необъяснимые изменения цепочки должны останавливаться. Третий слой — телеметрия: журнал вызовов, входных контекстов и результатов для расследования и улучшения политик.