В чём суть риска
Исследования Promptware показали, что косвенное внедрение инструкций может попадать в ассистента через письма, приглашения календаря и общие документы. Корпоративный ассистент способен отправить письмо, изменить событие или раскрыть информацию без ведома пользователя.
Ассистент резюмирует письмо или календарное событие по обычной просьбе сотрудника. Внутри объекта есть скрытая инструкция, и модель воспринимает её как часть контекста. Доверие нарушается на стыке: объект создан внешним отправителем, а обрабатывается с правами сотрудника. Поскольку ассистент подключён к почте, календарю и файлам, последствием становится реальное действие в рабочих системах.
Чем риск оборачивается для компании
От имени сотрудника отправляются письма и меняются события, которых он не планировал.
Содержимое переписки и документов раскрывается посторонним.
Партнёры получают сообщения, созданные ассистентом под чужим влиянием.
Где риск наиболее вероятен
Кому и что решать
Ограничить набор действий ассистента в офисных системах минимально необходимым для каждой роли.
Обеспечить классификацию входящих объектов как недоверенных, подтверждение действий человеком и неизменяемый журнал.
Определить операции, которые ассистент не выполняет без явного согласия сотрудника.
Что стоит наблюдать
Признаки сами по себе не доказывают инцидент. Их полезно сопоставлять с учётной записью, версией модели, решением политики, источником контекста и результатом вызова инструмента.
Какие меры создают границу
Меры работают в связке и не перекладывают ответственность на модель: важны границы полномочий, владелец, телеметрия и процедура безопасного отказа.
Классификация недоверенного контента
Автоматически помечать письма, приглашения и файлы от внешних отправителей. К ним применяется ограниченный режим обработки.
Подтверждение действий человеком
Требовать согласия сотрудника на отправку, изменение и пересылку. Скрытая инструкция не превращается в действие.
Минимальные права инструментов
Выдавать каждому инструменту только необходимые полномочия, чтобы ограничить возможный ущерб.
Политика безопасных действий ассистента
Утвердить перечень разрешённых, ограниченных и запрещённых операций для ассистента в офисных системах.
Неизменяемый журнал действий
Фиксировать все действия ассистента с указанием объекта, после чтения которого они произошли.
Вопросы, показатели и первые шаги
Вопросы команде и поставщику
- Какие действия ассистент может выполнить в почте и календаре без подтверждения?
- Различает ли он объекты от внешних и внутренних отправителей?
- Можно ли по журналу восстановить причину каждого действия?
- Кто утверждал перечень разрешённых операций?
Показатели контроля
- Доля действий ассистента, выполненных с подтверждением человека
- Число вызовов инструментов после обработки внешних объектов
- Доля инструментов с пересмотренными правами доступа
Первые 30 дней
- Составить перечень действий ассистента в почте, календаре и файлах
- Включить подтверждение для отправки и изменения
- Проверить полноту и защищённость журнала действий
Как проверить в пилотном проекте
Проверить, что недоверенный контент не может напрямую менять политику и действие системы.
Шлюз политик фиксирует разрешение или запрет для согласованных рисковых сценариев.
Трассировка связывает учётную запись, версию модели, решение политики и результат обращения.
Изменение защитного ограничения или политики проходит проверку и воспроизводимый откат.
Какие классы решений рассматривать
Ниже — редакционные профили поставщиков, связанные с доменом угрозы. Это не рейтинг и не подтверждение применимости: заявленные функции следует проверить в вашем пилоте по указанным критериям.
INFERA AI Security portfolio
InfEra Security · AI Security / DevSecOps
INFERA AI.SafeCode · INFERA AI.FirewallSTRAZH AI Control
STRAZH · Corporate AI Security
Shadow AI Audit & Control · LLM Firewall
AIGATE / DevScore / AIPitch
Aitalon · AI Gateway
AIGATE · DevScoreИсточники и проверка
Сначала — объяснение для русскоязычной команды. Затем — первоисточники, по которым можно проверить границы, методологию и применимость в конкретной архитектуре.