Что произошло
14 августа 2024 года исследователи PromptArmor сообщили Slack о проблеме. В тот же день Slack расширил возможности AI: в ответы стали включаться файлы из каналов и личных сообщений, что, по оценке исследователей, расширило поверхность атаки. Команда безопасности Slack ответила, что доступность публичных каналов для поиска всем участникам является задуманным поведением. 20 августа PromptArmor опубликовала описание, после чего Salesforce сообщила о выпуске исправления и об отсутствии признаков несанкционированного доступа к данным клиентов.
Где нарушилась защита
Slack AI при ответе ищет по всем доступным пользователю каналам, включая публичные каналы, в которых он не состоит. Текст из публичного канала попадал в контекст наравне с приватными сообщениями пользователя, и модель не отличала данные от инструкций. В результате ответ мог содержать ссылку, при переходе по которой приватные данные уходили на внешний адрес. Граница доверия нарушалась, когда сообщения любого участника получали влияние на ответы, сформированные с правами другого сотрудника.
Последствия
- Исследователи продемонстрировали извлечение секрета (API-ключа) из приватного канала, в котором атакующий не состоял
- Для атаки достаточно было быть участником рабочего пространства и создать публичный канал
- Salesforce сообщила, что не обнаружила несанкционированного доступа к данным клиентов
Реакция
После публикации PromptArmor 20 августа 2024 года Salesforce выпустила исправление и заявила об отсутствии свидетельств несанкционированного доступа к данным клиентов.
Уроки для бизнеса
- Корпоративный мессенджер с AI-поиском превращает любое сообщение в потенциальную инструкцию для ассистента
- Расширение источников для AI, например добавление файлов, увеличивает поверхность атаки и требует повторной оценки рисков
- Секреты, отправленные в мессенджер, становятся целью атак через AI-ассистента
Меры, которые предотвратили бы инцидент
- Запретить хранение секретов в мессенджерах и сканировать сообщения на их наличие
- Ограничить источники, из которых AI-ассистент берёт контекст, и проверять изменения этих настроек
- Фильтровать внешние ссылки в ответах AI-ассистента
- Переоценивать риски при каждом расширении функций AI у вендора