Гайд · Архитектура AI

Предполагаем компрометацию: как защитить AI, когда злоумышленник уже внутри

Практическая архитектура AI-контура без неявного доверия к внутренней сети: идентичности, исполнение политик, контур данных и телеметрия.

Иллюстрация к материалу «Предполагаем компрометацию: как защитить AI, когда злоумышленник уже внутри»
Темы:нулевое довериеконтроль доступаAI-агентыархитектура

AI-сервис — это не единая точка доступа, а цепочка из учётных записей, контекста, модели, инструментов и наблюдаемости. Если злоумышленник уже присутствует во внутренней сети, безопасная архитектура не принимает это присутствие за разрешение: каждый переход по цепочке должен быть отдельно ограничен и наблюдаем.

01

Не доверяйте местоположению

В модели нулевого доверия внутренний IP-адрес, VPN или VLAN не становятся пропуском к AI-ресурсу. Человек, сервис и агент получают отдельную учётную запись; решение об обращении к интерфейсу модели, RAG-коллекции или инструменту учитывает субъекта, цель, тип данных и запрашиваемое действие. Для сервисов предпочтительны короткоживущие учётные данные и узкие границы полномочий, а не общие ключи в конфигурации.

02

Сделайте контур политик отдельным уровнем

Политика должна проверяться до вывода модели, поиска контекста и выполнения вызова инструмента. Разделение контура политик и контура данных не исключает риск, но уменьшает зависимость безопасности от одного скомпрометированного канала. Практический вопрос для команды: можно ли отозвать право агента или отключить конкретную интеграцию без остановки всей AI-платформы?

03

Защищайте контекст и действие одинаково серьёзно

Найденный документ — это данные, а не инструкция. Источник, классификация, права на документ и объём контекста должны быть проверяемыми. Вывод модели становится действием только после детерминированной серверной проверки структуры данных, проверки политики и, для чувствительных сценариев, подтверждения человеком.

04

Наблюдаемость превращает AI-событие в расследуемое

Журналируйте связанные события: учётную запись, решение политики, версию модели и конфигурации, источник найденного контекста, вызов инструмента и результат разрешения. При этом минимизируйте хранение чувствительного содержимого. Без такого следа SOC видит аномалию, но не может понять, какое сочетание контекста и полномочий к ней привело.

Граница применимости. Это защитно-ориентированное объяснение, а не гарантия предотвращения инцидентов. Контроли следует адаптировать через моделирование угроз, требования к данным и процессы реагирования вашей организации.

Продолжите исследование

Связанные риски

Карточки связывают материал с конкретными угрозами, признаками и мерами защиты на интерактивной карте.

A32 · Высокий

Unauthorized access to model endpoints

Нагрузка, endpoint или инфраструктурный ресурс AI используется в обход ограничений доступности, сегментации или доверия.

Открыть карточку
A34 · Критический

Excessive agency / tool permissions

AI-агент получает или использует tools, память и автономность шире, чем необходимо для подтверждённой бизнес-задачи.

Открыть карточку
A35 · Критический

Confused deputy in agentic workflows

AI-агент получает или использует tools, память и автономность шире, чем необходимо для подтверждённой бизнес-задачи.

Открыть карточку
A38 · Высокий

Unsafe output handling into downstream systems

Модельный вывод или AI-assisted development создают риск для downstream приложений, кода, секретов или зависимостей.

Открыть карточку
A47 · Высокий

Third-party AI vendor risk

Управление AI-системой, поставщиком, конфигурацией или принятием решения не даёт достаточной доказательности риска и контроля.

Открыть карточку
Открыть интерактивную карту угроз
Первоисточники

Международные источники и практики

Сначала мы объясняем практический смысл материала на русском. Ниже — первоисточники для проверки и детального изучения границ применимости.

NISTAI 100-2e2025: Adversarial Machine LearningТаксономия атак и mitigations для adversarial ML.MITREMITRE ATLASТактики и техники против AI-систем.CISAJoint Guidance on Deploying AI Systems SecurelyБезопасное внедрение AI-систем.CISA / NSACareful Adoption of Agentic AI ServicesКонтроли для agentic AI.