A21 · Модель и цепочка поставки

Поддельные репозитории моделей с похожими названиями

Поддельные репозитории имитируют известные AI-бренды и модели и доставляют вредоносные скрипты или скомпрометированные артефакты. Для компании это компрометация команд разработки через цепочку поставок: утечка учётных данных и установка вредоносного ПО.

Иллюстрация к карточке угрозы «Поддельные репозитории моделей с похожими названиями»
Отправить с описанием:TelegramWhatsApp
Кратко для руководителя

В чём суть риска

Поддельные репозитории имитируют известные AI-бренды и модели и доставляют вредоносные скрипты или скомпрометированные артефакты. Для компании это компрометация команд разработки через цепочку поставок: утечка учётных данных и установка вредоносного ПО.

Сотрудник ищет модель в публичном каталоге и скачивает репозиторий с похожим названием и оформлением, принимая его за официальный релиз. Описание модели скопировано с оригинала, а учётная запись издателя создана недавно. Вместе с файлами модели в среду разработки попадают посторонние скрипты. Граница доверия нарушается в момент, когда внешний артефакт без проверки происхождения оказывается на рабочей станции рядом с ключами доступа и конвейером сборки.

Связь со стандартамиOWASPLLM03, LLM04MITRE / ATT&CKATLAS: ML Supply ChainNISTNIST AI 100-2: Poisoning
01
Влияние на бизнес

Чем риск оборачивается для компании

Безопасность

Вредоносное ПО попадает в среду разработки и получает точку опоры внутри периметра.

Данные

Утекают учётные данные разработчиков, ключи доступа к облаку и внутренним сервисам.

Операции

Расследование и пересборка окружений останавливают работу команд над AI-проектами.

Где риск наиболее вероятен

Пилоты с моделями из публичных каталоговСамостоятельные эксперименты аналитиков на рабочих станцияхКонвейеры сборки, загружающие модели по имениПодрядчики, приносящие готовые модели
02
Зоны ответственности

Кому и что решать

ИТ-директор

Утвердить единый внутренний источник моделей и запретить прямую загрузку из публичных каталогов в рабочие среды.

Директор по кибербезопасности

Обеспечить проверку издателя и содержимого каждого внешнего артефакта до его появления в корпоративной сети.

Владелец бизнес-процесса

Закладывать в сроки пилотов время на проверку происхождения модели.

03
Сигналы для службы мониторинга

Что стоит наблюдать

Признаки сами по себе не доказывают инцидент. Их полезно сопоставлять с учётной записью, версией модели, решением политики, источником контекста и результатом вызова инструмента.

Название репозитория или бренда отличается от официального на один-два символа
Учётная запись издателя создана недавно и не имеет истории публикаций
Описание модели дословно повторяет описание другого издателя
В составе репозитория есть исполняемые скрипты, не нужные для работы модели
Высокое число загрузок при отсутствии подтверждённого происхождения
04
Проектирование защиты

Какие меры создают границу

Меры работают в связке и не перекладывают ответственность на модель: важны границы полномочий, владелец, телеметрия и процедура безопасного отказа.

01Организационная

Перечень разрешённых издателей

Закрепить список проверенных издателей; остальное проходит отдельное согласование.

02Техническая

Внутреннее зеркало моделей

Загружать модели только через корпоративный реестр, куда артефакт попадает после проверки.

03Техническая

Автономная проверка артефактов

Сканировать скачанные репозитории в изолированной среде без доступа к сети и секретам.

04Техническая

Политика безопасного исполнения

Запретить автоматический запуск кода из репозитория модели вне песочницы.

05Мониторинг

Оценка репутации репозиториев

Отслеживать обращения к публичным каталогам и сверять их с данными о поддельных репозиториях.

05
Управленческий контроль

Вопросы, показатели и первые шаги

Вопросы команде и поставщику

  1. Откуда наши команды сегодня берут модели и кто это контролирует?
  2. Есть ли перечень разрешённых издателей и кто его ведёт?
  3. Проверяется ли содержимое репозитория до запуска на рабочей станции?
  4. Как быстро мы узнаем, что загруженная модель оказалась подделкой?

Показатели контроля

  • Доля моделей в эксплуатации, полученных из внутреннего реестра
  • Число загрузок из публичных каталогов в обход реестра за период
  • Доля внешних артефактов, прошедших проверку до первого запуска

Первые 30 дней

  1. Собрать перечень внешних моделей, уже используемых в компании, и их источники
  2. Утвердить список проверенных издателей и порядок добавления новых
  3. Настроить изолированную среду для первичной проверки скачанных репозиториев
06
Проверка в пилоте

Как проверить в пилотном проекте

Подтвердить происхождение и управляемый путь поставки модели, адаптера, данных и зависимостей.

1

Состав AI-системы связывает артефакт модели, зависимости, набор данных и версию развёртывания.

2

Поступление артефакта из неутверждённого источника проходит контроль до выполнения.

3

Команда демонстрирует проверку, доказательство версии и безопасный откат.

Открыть матрицу пилота
07
Контекст рынка

Какие классы решений рассматривать

Безопасность цепочки поставок AIБезопасная разработка (DevSecOps)Киберразведка (Threat Intelligence)

Ниже — редакционные профили поставщиков, связанные с доменом угрозы. Это не рейтинг и не подтверждение применимости: заявленные функции следует проверить в вашем пилоте по указанным критериям.

Проверенные источники

Источники и проверка

Сначала — объяснение для русскоязычной команды. Затем — первоисточники, по которым можно проверить границы, методологию и применимость в конкретной архитектуре.

S28 · HiddenLayerOpen-OSS/privacy-filter malicious Hugging Face repository caseРиск поддельных model repositories.S29 · JFrogMalicious ML Models on Hugging Face with Silent BackdoorРиски ML model supply chain.S30 · ReversingLabsnullifAI technique in ML modelsТехника, подтверждающая риск вредоносных ML-моделей.S31 · arXivModels Are Codes: Security Risks of Loading Untrusted ModelsИсследование рисков загрузки моделей и datasets.