В чём суть риска
Чрезмерное потребление ресурсов модели оборачивается ростом расходов, задержками и отказом сервиса; этот риск описан в OWASP LLM10. Причиной может быть и атакующий, и собственный ошибочный процесс.
AI-приложение оплачивается по объёму обработанных токенов и вызовов, а верхней границы потребления нет. Атакующий или неисправный процесс порождает множество длинных запросов, итераций и вызовов инструментов. Агент может зациклиться, повторяя попытки или рекурсивно обращаясь к инструментам. Граница доверия нарушается там, где пользователю или автоматическому процессу позволено расходовать общий ресурс без лимита. В итоге исчерпывается бюджет или квота, и сервис ухудшается либо останавливается для всех.
Чем риск оборачивается для компании
Счёт за использование модели вырастает неконтролируемо за короткое время.
Сервис замедляется, а бизнес-процесс, зависящий от модели, блокируется.
Исчерпание ресурсов служит способом вызвать отказ в обслуживании AI-приложения.
Где риск наиболее вероятен
Кому и что решать
Ввести бюджеты и квоты на каждое AI-приложение и подразделение, чтобы расходы имели владельца и предел.
Обеспечить лимиты на уровне шлюза и автоматическое прерывание аномальных сессий.
Определить допустимую стоимость одной операции и поведение сервиса при достижении лимита.
Что стоит наблюдать
Признаки сами по себе не доказывают инцидент. Их полезно сопоставлять с учётной записью, версией модели, решением политики, источником контекста и результатом вызова инструмента.
Какие меры создают границу
Меры работают в связке и не перекладывают ответственность на модель: важны границы полномочий, владелец, телеметрия и процедура безопасного отказа.
Бюджеты на AI-приложения
Назначить бюджет и ответственного на каждое приложение и согласовать действия при превышении.
Квоты и лимиты запросов
Ограничить частоту запросов и объём токенов на пользователя, ключ и приложение.
Ограничения сессии и итераций
Задать предельную длину сессии, число шагов агента и вызовов инструментов.
Автоматические предохранители
Прерывать цепочку вызовов при повторяющихся ошибках или превышении порога потребления.
Оповещения об аномалиях расходов
Отслеживать стоимость и токены в реальном времени и уведомлять владельца при отклонении.
Вопросы, показатели и первые шаги
Вопросы команде и поставщику
- Есть ли верхний предел расходов по каждому AI-приложению?
- Что произойдёт с сервисом, когда лимит будет достигнут?
- Может ли наш агент зациклиться и кто это остановит?
- Как быстро мы узнаем об аномальном росте расходов?
Показатели контроля
- Доля AI-приложений с установленными бюджетами и квотами
- Стоимость одной операции в динамике
- Время от начала аномального роста расходов до оповещения владельца
Первые 30 дней
- Собрать фактические расходы и объёмы токенов по приложениям
- Установить лимиты на пользователя, ключ и сессию на шлюзе
- Настроить оповещения о всплесках расходов и повторных вызовах
Как проверить в пилотном проекте
Проверить сегментацию, учётные записи и ограничение расхода ресурсов на вывод модели и выполнение агентов.
Сервисная учётная запись имеет минимальные полномочия для согласованной нагрузки.
Политика сети и квот ограничивает неразрешённый маршрут или нештатный расход.
Телеметрия исполнения поступает в согласованный мониторинг или процесс SOC.
Какие классы решений рассматривать
Ниже — редакционные профили поставщиков, связанные с доменом угрозы. Это не рейтинг и не подтверждение применимости: заявленные функции следует проверить в вашем пилоте по указанным критериям.
INFERA AI Security portfolio
InfEra Security · AI Security / DevSecOps
INFERA AI.SafeCode · INFERA AI.Firewall
AIGATE / DevScore / AIPitch
Aitalon · AI Gateway
AIGATE · DevScoreAqua CNAPP
Aqua Security · CNAPP / Container Security
Aqua CNAPP capabilitiesИсточники и проверка
Сначала — объяснение для русскоязычной команды. Затем — первоисточники, по которым можно проверить границы, методологию и применимость в конкретной архитектуре.