Определения адаптированы для редакционной базы AI-first.tech. Они поясняют термин, но не заменяют первоисточник, формальную risk assessment или требования конкретного регулятора.
AI Security
Дисциплина защиты AI-систем, данных, моделей, промптов, агентов, инструментов, пайплайнов и инфраструктуры от атак, утечек и злоупотреблений.
LLM Firewall
Контрольный слой между пользователями или приложениями и LLM: проверяет prompts, retrieved content, model outputs и agent actions.
AI Gateway
Корпоративный шлюз для централизованного управления доступом к моделям, политиками, аудитом, стоимостью и безопасностью.
RAG
Retrieval-Augmented Generation: архитектура, где модель отвечает с опорой на извлечённый контекст из внешних источников.
Prompt injection
Манипуляция поведением модели через инструкции, помещённые в пользовательский ввод или во внешние данные.
Indirect prompt injection
Prompt injection через внешний контент: сайт, письмо, документ, календарь, код, тикет или knowledge base.
Jailbreak
Попытка обойти safety или usage guardrails модели.
Excessive agency
Риск, при котором AI-agent получает слишком широкие инструменты, права или автономность.
Model poisoning
Компрометация поведения модели через изменение обучающих данных, fine-tuning, weights, adapters или artifacts.
Data poisoning
Внедрение ложных, вредоносных или смещённых данных в training, fine-tuning или RAG corpus.
Model extraction
Попытка воспроизвести модель или её поведение через систематические запросы к API.
Model inversion
Попытка вывести сведения об обучающих данных из поведения или ответов модели.
Embedding
Векторное представление текста или данных, используемое для semantic search и RAG.
AI SBOM / ML-BOM
Перечень компонентов AI-системы: модели, datasets, dependencies, adapters, frameworks, pipelines, licenses и provenance.
Shadow AI
Использование AI-сервисов сотрудниками без согласованного контроля, договоров и политик безопасности.
Agentic AI
AI-система с агентами, которые могут планировать действия, использовать инструменты и выполнять операции в среде.
Model registry
Хранилище версий, метаданных и артефактов моделей с управляемыми правами и доставкой.
AI Red Teaming
Контролируемая проверка AI-системы на риск-сценарии, утечки, обходы и misuse без публикации operational attack details.