Гайд · Безопасная разработка AI

AI Security и DevSecOps: управляйте моделью, данными и запросами как поставляемыми артефактами

Новый слой поставки включает веса модели, наборы данных, эмбеддинги, системные запросы, определения инструментов и конфигурацию политик.

Иллюстрация к материалу «AI Security и DevSecOps: управляйте моделью, данными и запросами как поставляемыми артефактами»
Темы:DevSecOpsцепочка поставкиотравление моделейпроверка кода

DevSecOps для AI расширяет критерии готовности к выпуску. В промышленную среду поставляются не только код и контейнеры: модель, адаптер, набор данных, RAG-корпус, эмбеддинги, системный запрос, определение инструментов и конфигурация политик способны изменить поведение системы.

01

Соберите состав AI-системы

Единый реестр, или AI BOM, связывает версию кода с точной версией модели, зависимостей, образа, набора данных, индекса, системных запросов и инструментов. Это не формальность: без такой связи команда не может понять, что именно изменилось при регрессии, утечке или необычном действии агента. Реестр должен иметь владельца, храниться рядом с поставляемым артефактом и быть доступен команде реагирования.

02

Проводите изменения через проверяемый путь

Утверждённые источники, проверка хэшей и подписей, экспертная проверка, проверки политик безопасности и раздельные среды применяются к AI-артефактам так же, как к коду. Перед выпуском проверяйте релевантные рисковые сценарии, разграничения доступа, контент и интеграции. Внедрение инструкций в запрос нельзя закрыть одной проверкой, поэтому оценка повторяется после изменения модели, данных или доступных инструментов.

03

Оставьте возможность безопасного отката

У выпуска должен быть владелец, прослеживаемость и заранее определённый откат: отключение инструмента, отзыв учётных данных, возврат версии модели, системного запроса или индекса. Эксплуатационная телеметрия замыкает цикл обратной связи: сигнал превращается в проверку риска и контролируемое изменение, а не в бесконечное ручное экстренное исправление.

04

Где заканчивается CI/CD

CI/CD контролирует путь артефакта. AI Security дополняет его политиками времени выполнения: кто вызывает модель, что извлекается из RAG, какой инструмент доступен и какие действия допустимы. Только связка поставки, идентичностей, защиты данных и наблюдаемости времени выполнения создаёт управляемый AI-контур.

Граница применимости. Это защитно-ориентированное объяснение, а не гарантия предотвращения инцидентов. Контроли следует адаптировать через моделирование угроз, требования к данным и процессы реагирования вашей организации.

Продолжите исследование

Связанные риски

Карточки связывают материал с конкретными угрозами, признаками и мерами защиты на интерактивной карте.

A21 · Высокий

Typosquatted or fake model repository

Модель, данные, adapter или dependency попадают в жизненный цикл без достаточной проверки происхождения и целостности.

Открыть карточку
A22 · Высокий

LoRA/adaptor tampering

Модель, данные, adapter или dependency попадают в жизненный цикл без достаточной проверки происхождения и целостности.

Открыть карточку
A39 · Высокий

AI-generated vulnerable code

Модельный вывод или AI-assisted development создают риск для downstream приложений, кода, секретов или зависимостей.

Открыть карточку
A40 · Высокий

AI hallucinated dependency / slopsquatting

Модельный вывод или AI-assisted development создают риск для downstream приложений, кода, секретов или зависимостей.

Открыть карточку
A41 · Высокий

Secret leakage through coding assistants

Модельный вывод или AI-assisted development создают риск для downstream приложений, кода, секретов или зависимостей.

Открыть карточку
Открыть интерактивную карту угроз
Первоисточники

Международные источники и практики

Сначала мы объясняем практический смысл материала на русском. Ниже — первоисточники для проверки и детального изучения границ применимости.

OWASPLLM03:2025 Supply ChainЦепочка поставки моделей, данных и зависимостей.OWASPLLM04:2025 Data and Model PoisoningОтравление данных и моделей.CISAJoint Guidance on Deploying AI Systems SecurelyБезопасное внедрение AI-систем.