Ландшафт безопасности AI: от контроля LLM к безопасности агентов
Независимая карта сегментов и контрольных вопросов для оценки корпоративного контура безопасности AI.
Исследование на основе доказательств
Материалы отмечают уровень достоверности: официальные методологии, исследования, публичные инциденты или заявления вендоров. Метрики вендоров не подменяют независимые доказательства.
30 подтверждаемых кейсов и фреймворков
Каждый элемент отделяет факт, исследование, публичный case или vendor claim. Сначала — краткий вывод для российского читателя, затем — первоисточник.
OWASP LLM Top 10 2025
Базовая таксономия рисков LLM-приложений для тегов базы и проверки архитектуры.
OWASP prompt injection definition
Prompt injection нужно оценивать для LLM app, RAG assistant и AI agent.
Indirect prompt injection via external content
Веб-страницы, письма и документы следует считать недоверенным контентом для AI.
Promptware attacks against Gemini-powered assistants
Agentic assistants требуют границ tool use, confirmations и memory controls.
Physical-world consequences in assistant workflows
Для cyber-physical сценариев AI нужна усиленная граница side effects без публикации operational detail.
EchoLeak / Microsoft 365 Copilot case study
Enterprise copilot требует prompt partitioning, provenance controls, CSP и output filtering.
Lessons from Defending Gemini
Безопасность AI-assistant — это непрерывная adversarial evaluation, а не одноразовый hardening.
Large-scale public red-team competition
Пользователь может видеть безопасный финальный ответ при нежелательном tool action под ним; требуются trace и approval.
MCP/tool-poisoning in AI dev tools
AI coding environments требуют tool-registry и supply-chain security, не только model safety.
Layered RAG defense research
RAG protection должна быть многослойной: screening, provenance-aware context, output audit.
NIST adversarial ML taxonomy 2025
Нормализует словарь evasion, poisoning, privacy и extraction attacks.
MITRE ATLAS
Удобный backbone threat modeling для AI-enabled systems.
CISA secure deployment guidance
Закупки, contracts и deployment нуждаются в AI threat model и security requirements.
CISA agentic AI guide 2026
Agentic AI нужно управлять как high-impact automation с явной моделью прав и мониторинга.
CISA AI in operational technology
AI в OT/КИИ требует дополнительных safety и security gates.
Google SAIF
Может быть архитектурной опорой enterprise AI security program.
Google Cloud Model Armor
Runtime AI protection становится отдельным product category.
CSA AI Controls Matrix
Удобна для сопоставления product claims с контролями при выборе решений.
ISO/IEC 42001
Поддерживает материалы по AI governance и аудиту.
EU AI Act
Risk-based language влияет на enterprise procurement и compliance даже вне ЕС.
Malicious Hugging Face models
Репозитории моделей следует рассматривать как executable supply chain, а не как data downloads.
nullifAI technique
Static и dynamic scanning model artifacts — часть MLSecOps.
Models Are Codes / MalHug
Загрузка модели может быть эквивалентна запуску кода; нужен controlled loading.
SafePickle / pickle risk
Safe formats, scanners и sandboxed loading — core supply-chain controls.
LeftoverLocals GPU leakage
Shared AI infrastructure требует patching, memory hygiene и tenant isolation.
ITOREX AI Security category
Используется как российский category context с явной маркировкой vendor source.
ITOREX LLM Firewall category
Помогает описывать LLM Firewall use cases и vendor mapping, но не заменяет независимое evidence.
InfEra product portfolio
Маппинг InfEra по DevSecOps, LLM Firewall, CTEM и agent controls; claims требуют проверки в пилоте.
Aitalon AIGATE / DevScore / AIPitch
Контекст для AI access control, policy, cost control и development quality; claims требуют проверки в пилоте.
FoxOps AI-Vault
Контекст controlled artifact delivery и corporate ML infrastructure; claims требуют проверки в пилоте.
Международные бенчмарки — с контекстом
Бенчмарк отвечает на конкретный вопрос и работает в заявленном scope. Здесь сначала — краткое объяснение на русском, затем — ссылка на методику и результаты.
MLCommons AILuminate
Сначала: бенчмарк помогает сопоставлять безопасность и устойчивость чат-моделей общего назначения, но не заменяет оценку архитектуры корпоративного AI. Затем: первоисточник описывает границы применения, 12 категорий опасностей и ограничения по версиям и модальностям.
Методика и результатыCIS Kubernetes Benchmark
Сначала: бенчмарк помогает проверить базовую гигиену конфигурации Kubernetes. Затем: применяйте версию, соответствующую вашей платформе и управляемому кластеру; это не замена моделированию угроз для AI.
Методика и результаты