# A36: Отравление долговременной памяти AI-ассистента (Memory poisoning)

> Постоянную память ассистента можно изменить так, чтобы она влияла на будущие ответы. В отличие от разового сбоя эффект длительный: искажённые предпочтения, бизнес-правила и ложные факты сохраняются между сеансами.

- Канонический HTML: [/threats/a36-memory-poisoning](https://ai-first.tech/threats/a36-memory-poisoning)
- Язык: русский
- Редакционный принцип: защитный контекст без вредоносных полезных нагрузок и инструкций обхода.

## Домен

Безопасность AI-агентов

## Как проявляется риск

Ассистент запоминает сведения из диалогов и документов, чтобы учитывать их позже. Скрытое указание из прочитанного материала сохраняется в памяти наравне с действительными предпочтениями пользователя. Позднее оно срабатывает в другом контексте, когда связь с исходным документом уже утрачена. Граница доверия нарушается в момент записи: недоверенное содержимое получает статус постоянного знания. Без сведений о происхождении записей найти причину искажения трудно.

## Влияние на бизнес

- **Операции.** Ассистент устойчиво применяет искажённые правила, и ошибки повторяются от сеанса к сеансу.
- **Безопасность.** Скрытые указания в памяти действуют долго и срабатывают в неожиданных ситуациях.
- **Данные.** Ложные факты в памяти снижают достоверность ответов и производных документов.

## Где риск наиболее вероятен

- Персональные ассистенты с памятью между сеансами
- Агенты, накапливающие правила и предпочтения заказчика
- Ассистенты, читающие внешние документы и почту
- Общая память группы агентов

## Кому и что решать

- **ИТ-директор.** Выбирать платформы, где память ассистента прозрачна, управляема и поддерживает откат.
- **Директор по кибербезопасности.** Обеспечить учёт происхождения записей и запрет на запоминание сведений из недоверенных источников.
- **Владелец бизнес-процесса.** Назначить ответственного за проверку того, что ассистент запомнил о процессе и его правилах.

## Признаки для службы мониторинга

- В памяти появляются записи, которых пользователь не вносил
- Источником записи служит недоверенное содержимое
- Поведение ассистента меняется после чтения документов
- Ответы расходятся с действующими бизнес-правилами
- У записей памяти отсутствуют сведения о происхождении

## Меры защиты

- **Периодический просмотр памяти** (организационная). Дать пользователям и владельцам процесса возможность регулярно проверять и исправлять сохранённые записи.
- **Согласование записи в память** (техническая). Требовать подтверждения перед сохранением, чтобы новые записи не появлялись незаметно.
- **Учёт происхождения записей** (техническая). Хранить для каждой записи источник и время, что позволяет быстро найти причину искажения.
- **Запрет записи из недоверенных источников** (техническая). Не сохранять в память сведения из внешних документов и писем.
- **Откат памяти к проверенному состоянию** (техническая). Поддерживать быстрое восстановление прежней версии памяти при обнаружении отравления.
- **Наблюдение за изменениями памяти** (мониторинг). Фиксировать обновления памяти и отклонения поведения ассистента после обработки документов.

## Вопросы команде и поставщику

- Какие наши ассистенты хранят память между сеансами и что в неё попадает?
- Может ли пользователь увидеть и исправить запомненное?
- Известен ли источник каждой записи?
- Как быстро можно вернуть память к проверенному состоянию?

## Показатели контроля

- Доля записей памяти с известным происхождением
- Число записей, созданных на основе недоверенного содержимого
- Время от обнаружения искажения до отката памяти

## Первые 30 дней

- Определить ассистентов с постоянной памятью и правила её пополнения
- Включить подтверждение записи и журнал изменений памяти
- Проверить содержимое памяти в наиболее значимых сценариях

## Классы решений

- Защита AI-агентов
- Управление AI
- Наблюдаемость LLM

## Сопоставления

- OWASP: LLM06
- MITRE: ATLAS: Agent Tool Misuse
- NIST: NIST AI RMF: Manage

## Первоисточники

- [arXiv: Invitation Is All You Need! Promptware Attacks Against LLM-Powered Assistants](https://arxiv.org/abs/2508.12175) — Исследование indirect prompt injection через почту, календарь и документы.
- [arXiv: Lessons from Defending Gemini Against Indirect Prompt Injections](https://arxiv.org/abs/2505.14534) — Непрерывная adversarial evaluation indirect prompt injection.

## Ограничение

Карточка описывает признаки и меры защиты. Она не является эксплуатационной инструкцией и не заменяет модель угроз конкретной организации.