LLM01

Внедрение инструкций

Prompt Injection

Уязвимость внедрения инструкций (prompt injection) возникает, когда пользовательские запросы (промпты) изменяют поведение или выходные данные LLM непредусмотренным образом. Такие входные данные могут воздействовать на модель, даже если они незаметны для человека: внедренные инструкции не обязаны быть видимыми или читаемыми для человека — достаточно, чтобы содержимое обрабатывалось моделью.

Читать полностью LLM02

Раскрытие конфиденциальной информации

Sensitive Information Disclosure

Конфиденциальная информация может затрагивать как саму LLM, так и контекст ее применения. К ней относятся персональные данные (personal identifiable information, PII), финансовые сведения, медицинские записи, конфиденциальные бизнес-данные, учетные данные для доступа и юридические документы. Проприетарные модели также могут обладать уникальными методами обучения и исходным кодом, которые считаются конфиденциальными, — особенно это касается закрытых и базовых (foundation) моделей.

Читать полностью LLM03

Цепочка поставок

Supply Chain

Цепочки поставок LLM подвержены разнообразным уязвимостям, способным нарушить целостность обучающих данных, моделей и платформ развертывания. Эти риски могут приводить к предвзятым результатам, нарушениям безопасности или отказам систем. Если традиционные уязвимости ПО связаны прежде всего с дефектами кода и зависимостями, то в машинном обучении риски распространяются также на сторонние предобученные модели и данные.

Читать полностью LLM04

Отравление данных и модели

Data and Model Poisoning

Отравление данных (data poisoning) происходит, когда данные для предварительного обучения, дообучения или построения эмбеддингов подвергаются манипуляциям с целью внедрения уязвимостей, бэкдоров или искажений (biases). Такие манипуляции могут подорвать безопасность модели, ее производительность или этичность поведения, приводя к вредным результатам или ухудшению возможностей. Типичные риски — снижение качества работы модели, предвзятый или токсичный контент и эксплуатация зависимых (downstream) систем.

Читать полностью LLM05

Ненадлежащая обработка выходных данных

Improper Output Handling

Ненадлежащая обработка выходных данных (improper output handling) — это, в частности, недостаточная проверка, очистка и обработка выходных данных, сгенерированных большими языковыми моделями, до их передачи другим компонентам и системам. Поскольку контентом, который генерирует LLM, можно управлять через входной запрос, такое поведение аналогично предоставлению пользователям косвенного доступа к дополнительной функциональности.

Читать полностью LLM06

Избыточная автономность

Excessive Agency

Разработчик часто наделяет систему на базе LLM определённой степенью автономности (agency) — способностью вызывать функции или взаимодействовать с другими системами через расширения (у разных вендоров они называются инструментами, навыками или плагинами — tools, skills, plugins), чтобы выполнять действия в ответ на промпт. Решение о том, какое расширение вызвать, также может быть передано LLM-агенту, который определяет его динамически на основе входного промпта или вывода LLM. Агентные системы, как правило, многократно обращаются к LLM, используя вывод предыдущих вызовов для обоснования и направления последующих.

Читать полностью LLM07

Утечка системного промпта

System Prompt Leakage

Уязвимость утечки системного промпта (System Prompt Leakage) в LLM связана с риском того, что системные промпты или инструкции, задающие поведение модели, могут содержать конфиденциальную информацию, которая не предназначалась для раскрытия. Системные промпты служат для того, чтобы направлять вывод модели в соответствии с требованиями приложения, но могут непреднамеренно содержать секреты. Будучи обнаруженной, такая информация может использоваться для проведения других атак.

Читать полностью LLM08

Уязвимости векторов и эмбеддингов

Vector and Embedding Weaknesses

Уязвимости векторов и эмбеддингов (Vector and Embedding Weaknesses) представляют значительные риски безопасности в системах, использующих генерацию с дополненной выборкой (Retrieval Augmented Generation, RAG) совместно с большими языковыми моделями (LLM). Слабые места в том, как векторы и эмбеддинги создаются, хранятся или извлекаются, могут эксплуатироваться злонамеренными (умышленными или неумышленными) действиями для внедрения вредоносного контента, манипулирования выводом модели или доступа к конфиденциальной информации.

Читать полностью LLM09

Дезинформация

Misinformation

Дезинформация (Misinformation), генерируемая LLM, представляет собой ключевую уязвимость для приложений, которые на эти модели полагаются. Дезинформация возникает, когда LLM выдают ложную или вводящую в заблуждение информацию, которая выглядит достоверной. Эта уязвимость может привести к нарушениям безопасности, репутационному ущербу и юридической ответственности.

Читать полностью LLM10

Неограниченное потребление ресурсов

Unbounded Consumption

Неограниченное потребление ресурсов (Unbounded Consumption) относится к процессу, в котором большая языковая модель (LLM) генерирует вывод на основе входных запросов или промптов. Инференс (inference) — критически важная функция LLM, заключающаяся в применении усвоенных закономерностей и знаний для формирования релевантных ответов или прогнозов.

Читать полностью