В чём суть риска
Вредоносная инструкция размещается во внешнем контенте, который AI читает как данные. Сотрудник получает искажённый вывод, а ассистент с инструментами может передать данные наружу или выполнить нежелательное действие.
Ассистент анализирует веб-страницу для пользователя. В ней есть скрытый текст, незаметный человеку, но доступный модели, и он пытается повлиять на её инструкции. Граница доверия ломается в момент, когда содержимое чужого сайта попадает в тот же контекст, что и задача пользователя. Дальше результат зависит от прав ассистента: от вводящей в заблуждение сводки до обращения к инструментам.
Чем риск оборачивается для компании
Сведения из рабочего контекста могут уйти во внешние каналы через инструменты ассистента.
Решения принимаются на основе сводок, которыми манипулирует владелец внешней страницы.
Ассистент выполняет действия, которых пользователь не запрашивал.
Где риск наиболее вероятен
Кому и что решать
Решить, каким ассистентам разрешено читать внешний интернет и какие инструменты доступны им в этом режиме.
Обеспечить отношение к внешнему контенту как к недоверенному и запрет действий, инициированных таким контентом.
Учитывать, что сводка по внешним источникам требует проверки перед использованием в решениях.
Что стоит наблюдать
Признаки сами по себе не доказывают инцидент. Их полезно сопоставлять с учётной записью, версией модели, решением политики, источником контекста и результатом вызова инструмента.
Какие меры создают границу
Меры работают в связке и не перекладывают ответственность на модель: важны границы полномочий, владелец, телеметрия и процедура безопасного отказа.
Учёт происхождения контента
Помечать каждый фрагмент контекста источником, чтобы к внешним данным применялись строгие правила.
Разделение контекста по доверию
Держать внешний контент отдельно от инструкций и внутренних данных, чтобы он оставался только материалом для анализа.
Запрет действий по недоверенному контенту
Не выполнять операции с инструментами, если их источник — текст внешней страницы.
Политика недоверия внешним источникам
Закрепить в правилах, что внешний контент считается недоверенным по умолчанию во всех AI-сценариях.
Контроль рискованных ответов
Оценивать ответы на выходе и оповещать о попытках передачи данных во внешние каналы.
Вопросы, показатели и первые шаги
Вопросы команде и поставщику
- Какие ассистенты читают внешние сайты и что они при этом могут делать?
- Отличает ли система внешний контент от внутреннего и от инструкций?
- Может ли текст страницы привести к вызову инструмента без подтверждения?
- Как обнаруживается попытка вывода данных через ассистента?
Показатели контроля
- Доля фрагментов контекста с зафиксированным источником
- Число заблокированных действий, инициированных внешним контентом
- Число ответов, остановленных выходной проверкой
Первые 30 дней
- Выявить ассистентов с доступом к интернету и перечислить их инструменты
- Отключить у них действия без подтверждения при работе с внешними страницами
- Настроить оповещения о передаче данных во внешние каналы
Как проверить в пилотном проекте
Проверить, что недоверенный контент не может напрямую менять политику и действие системы.
Шлюз политик фиксирует разрешение или запрет для согласованных рисковых сценариев.
Трассировка связывает учётную запись, версию модели, решение политики и результат обращения.
Изменение защитного ограничения или политики проходит проверку и воспроизводимый откат.
Какие классы решений рассматривать
Ниже — редакционные профили поставщиков, связанные с доменом угрозы. Это не рейтинг и не подтверждение применимости: заявленные функции следует проверить в вашем пилоте по указанным критериям.
INFERA AI Security portfolio
InfEra Security · AI Security / DevSecOps
INFERA AI.SafeCode · INFERA AI.FirewallSTRAZH AI Control
STRAZH · Corporate AI Security
Shadow AI Audit & Control · LLM Firewall
AIGATE / DevScore / AIPitch
Aitalon · AI Gateway
AIGATE · DevScoreИсточники и проверка
Сначала — объяснение для русскоязычной команды. Затем — первоисточники, по которым можно проверить границы, методологию и применимость в конкретной архитектуре.