A40 · Безопасная разработка AI

Выдуманные AI зависимости и подмена пакетов

Модель может придумать несуществующий пакет. Злоумышленник способен создать пакет с таким именем и ждать, пока его установят. Так доверие к рекомендациям AI по установке превращается в компрометацию цепочки поставки ПО.

Иллюстрация к карточке угрозы «Выдуманные AI зависимости и подмена пакетов»
Отправить с описанием:TelegramWhatsApp
Кратко для руководителя

В чём суть риска

Модель может придумать несуществующий пакет. Злоумышленник способен создать пакет с таким именем и ждать, пока его установят. Так доверие к рекомендациям AI по установке превращается в компрометацию цепочки поставки ПО.

Ассистент предлагает разработчику библиотеку, которой на момент ответа не существует. Позже в общедоступном хранилище появляется вредоносный пакет с похожим или тем же названием. Разработчик устанавливает его, полагаясь на подсказку. Граница доверия нарушается, когда рекомендация модели заменяет проверку происхождения компонента. Дальше пакет попадает в сборку и распространяется вместе с продуктом.

Связь со стандартамиOWASPLLM05, LLM03MITRE / ATT&CKATT&CK: Exploitation for Client ExecutionNISTNIST SSDF
01
Влияние на бизнес

Чем риск оборачивается для компании

Безопасность

Посторонний код оказывается внутри продукта и среды сборки.

Операции

Выявление и удаление скомпрометированной зависимости требует пересборки и повторной проверки выпусков.

Репутация

Компрометация продукта через зависимость затрагивает его потребителей.

Где риск наиболее вероятен

Установка пакетов по подсказке AI-ассистентаАгенты, самостоятельно добавляющие зависимостиСборка с прямым доступом к общедоступным хранилищамПрототипы без контроля состава ПО
02
Зоны ответственности

Кому и что решать

ИТ-директор

Перевести разработку на внутренние хранилища пакетов с согласованным составом.

Директор по кибербезопасности

Обеспечить проверку каждой новой зависимости и запрет установки по рекомендации AI без подтверждения.

Владелец бизнес-процесса

Требовать от команд и подрядчиков перечень компонентов поставляемого продукта.

03
Сигналы для службы мониторинга

Что стоит наблюдать

Признаки сами по себе не доказывают инцидент. Их полезно сопоставлять с учётной записью, версией модели, решением политики, источником контекста и результатом вызова инструмента.

В проект добавлен пакет без истории выпусков
Название зависимости получено от AI и не проверялось
Необычные закономерности установки пакетов в средах разработки
Сборка обращается к общедоступному хранилищу в обход внутреннего
Имя пакета почти совпадает с названием известной библиотеки
04
Проектирование защиты

Какие меры создают границу

Меры работают в связке и не перекладывают ответственность на модель: важны границы полномочий, владелец, телеметрия и процедура безопасного отказа.

01Организационная

Правило проверки рекомендаций AI

Запретить установку пакетов по подсказке ассистента без подтверждения их происхождения.

02Техническая

Внутренние хранилища пакетов

Получать зависимости только из внутреннего хранилища, куда компоненты попадают после проверки.

03Техническая

Перечень разрешённых зависимостей

Допускать в сборку только согласованные пакеты; новые проходят отдельное рассмотрение.

04Техническая

Анализ состава ПО

Автоматически проверять зависимости при сборке и вести перечень компонентов продукта.

05Мониторинг

Контроль новых зависимостей

Оповещать о появлении пакетов без истории и об обращениях к внешним хранилищам.

05
Управленческий контроль

Вопросы, показатели и первые шаги

Вопросы команде и поставщику

  1. Откуда наши сборки получают зависимости?
  2. Кто проверяет новый пакет перед первым использованием?
  3. Могут ли AI-агенты сами добавлять зависимости в проект?
  4. Есть ли у нас актуальный перечень компонентов каждого продукта?

Показатели контроля

  • Доля зависимостей, полученных из внутреннего хранилища
  • Число новых пакетов, добавленных без проверки
  • Доля продуктов с актуальным перечнем компонентов

Первые 30 дней

  1. Проверить недавно добавленные зависимости на историю и происхождение
  2. Закрыть сборкам прямой доступ к общедоступным хранилищам
  3. Довести до разработчиков правило проверки пакетов, предложенных AI
06
Проверка в пилоте

Как проверить в пилотном проекте

Проверить, что AI-артефакты и сгенерированный результат проходят привычные контрольные точки DevSecOps.

1

Конвейер поставки проверяет код, зависимости и AI-артефакты по утверждённому базовому уровню.

2

Небезопасный результат не попадает в последующее действие без проверки.

3

Найденное отклонение имеет владельца, путь устранения и доказуемую повторную проверку.

Открыть матрицу пилота
07
Контекст рынка

Какие классы решений рассматривать

Анализ состава ПО и перечень компонентовБезопасная разработка (DevSecOps)Защита AI-разработки

Ниже — редакционные профили поставщиков, связанные с доменом угрозы. Это не рейтинг и не подтверждение применимости: заявленные функции следует проверить в вашем пилоте по указанным критериям.

Проверенные источники

Источники и проверка

Сначала — объяснение для русскоязычной команды. Затем — первоисточники, по которым можно проверить границы, методологию и применимость в конкретной архитектуре.

S04 · OWASPLLM03:2025 Supply ChainЦепочка поставки моделей, данных и зависимостей.S26 · arXivAre AI-assisted Development Tools Immune to Prompt Injection?MCP/tool poisoning в AI development tools.