A39 · Безопасная разработка AI

Уязвимый код, созданный AI-ассистентом

AI-ассистенты ускоряют разработку, но могут предлагать небезопасные приёмы, устаревшие интерфейсы, слабую криптографию и уязвимые зависимости. Новые уязвимости быстрее доходят до промышленной среды, а излишнее доверие разработчиков к подсказкам накапливает долг по безопасности приложений.

Иллюстрация к карточке угрозы «Уязвимый код, созданный AI-ассистентом»
Отправить с описанием:TelegramWhatsApp
Кратко для руководителя

В чём суть риска

AI-ассистенты ускоряют разработку, но могут предлагать небезопасные приёмы, устаревшие интерфейсы, слабую криптографию и уязвимые зависимости. Новые уязвимости быстрее доходят до промышленной среды, а излишнее доверие разработчиков к подсказкам накапливает долг по безопасности приложений.

Разработчик получает от ассистента готовый фрагмент и принимает его без проверки, тестов и контроля безопасности. Код выглядит работоспособным, и это создаёт ложное ощущение качества. Граница доверия нарушается там, где предложение модели приравнивается к проверенному решению. Объём нового кода растёт быстрее, чем возможности его просмотра. В результате ошибки проходят сборку и попадают в выпуск.

Связь со стандартамиOWASPLLM05, LLM03MITRE / ATT&CKATT&CK: Exploitation for Client ExecutionNISTNIST SSDF
01
Влияние на бизнес

Чем риск оборачивается для компании

Безопасность

В продуктах появляются слабая аутентификация, небезопасная десериализация и уязвимые зависимости.

Операции

Растёт объём исправлений после выпуска, команды тратят время на устранение накопленных дефектов.

Данные

Секреты оказываются в исходном коде.

Где риск наиболее вероятен

Разработка с AI-ассистентом в среде программированияАвтономные агенты, вносящие изменения в репозиторийБыстрое создание прототипов, переходящих в промышленную эксплуатациюРабота подрядчиков с AI-инструментами
02
Зоны ответственности

Кому и что решать

ИТ-директор

Утвердить политику использования AI в разработке и сохранить обязательные этапы контроля качества.

Директор по кибербезопасности

Обеспечить автоматический анализ кода и зависимостей в конвейере сборки для любого кода.

Владелец бизнес-процесса

Учитывать в сроках время на проверку безопасности кода.

03
Сигналы для службы мониторинга

Что стоит наблюдать

Признаки сами по себе не доказывают инцидент. Их полезно сопоставлять с учётной записью, версией модели, решением политики, источником контекста и результатом вызова инструмента.

В репозитории обнаруживаются секреты в исходном коде
Анализ выявляет небезопасную десериализацию
В новых изменениях встречается слабая аутентификация
Добавляются зависимости с известными уязвимостями
Доля изменений, прошедших просмотр, снижается
04
Проектирование защиты

Какие меры создают границу

Меры работают в связке и не перекладывают ответственность на модель: важны границы полномочий, владелец, телеметрия и процедура безопасного отказа.

01Организационная

Политика использования AI в разработке

Определить, где допустим AI-ассистент и какие проверки обязательны для принятого кода.

02Техническая

Статический и динамический анализ

Проверять код автоматически в конвейере сборки, не выпуская изменения с критичными находками.

03Техническая

Контроль зависимостей при сборке

Анализировать состав ПО и блокировать компоненты с известными уязвимостями.

04Организационная

Просмотр кода с позиции безопасности

Сохранить обязательный просмотр человеком для изменений, созданных с участием AI.

05Техническая

Обязательное покрытие кода тестами

Требовать тесты для принятого кода, включая проверки безопасности.

06Мониторинг

Отслеживание находок и охвата просмотра

Наблюдать динамику уязвимостей и долю изменений, прошедших просмотр.

05
Управленческий контроль

Вопросы, показатели и первые шаги

Вопросы команде и поставщику

  1. Какие AI-инструменты используют наши разработчики и подрядчики?
  2. Проходит ли созданный AI код те же проверки, что и остальной?
  3. Как изменилось число уязвимостей после внедрения ассистентов?
  4. Успевает ли просмотр кода за ростом его объёма?

Показатели контроля

  • Доля изменений, прошедших просмотр и автоматический анализ
  • Число уязвимостей, выявленных до выпуска и после него
  • Покрытие тестами кода, созданного с участием AI

Первые 30 дней

  1. Выяснить, какие AI-ассистенты применяются в командах
  2. Сделать анализ кода и зависимостей обязательным условием слияния
  3. Принять краткую политику использования AI в разработке
06
Проверка в пилоте

Как проверить в пилотном проекте

Проверить, что AI-артефакты и сгенерированный результат проходят привычные контрольные точки DevSecOps.

1

Конвейер поставки проверяет код, зависимости и AI-артефакты по утверждённому базовому уровню.

2

Небезопасный результат не попадает в последующее действие без проверки.

3

Найденное отклонение имеет владельца, путь устранения и доказуемую повторную проверку.

Открыть матрицу пилота
07
Контекст рынка

Какие классы решений рассматривать

Статический анализ кода с применением AIОркестрация безопасности приложенийАнализ состава ПОБезопасная разработка (DevSecOps)

Ниже — редакционные профили поставщиков, связанные с доменом угрозы. Это не рейтинг и не подтверждение применимости: заявленные функции следует проверить в вашем пилоте по указанным критериям.

Проверенные источники

Источники и проверка

Сначала — объяснение для русскоязычной команды. Затем — первоисточники, по которым можно проверить границы, методологию и применимость в конкретной архитектуре.

S04 · OWASPLLM03:2025 Supply ChainЦепочка поставки моделей, данных и зависимостей.S06 · OWASPLLM05:2025 Improper Output HandlingНебезопасная обработка модельного вывода.S26 · arXivAre AI-assisted Development Tools Immune to Prompt Injection?MCP/tool poisoning в AI development tools.S37 · ITOREXInfEra Security vendor profileAI.SafeCode, AI.Firewall, AI.CTEM и AI.SafeAgent.