RAG, то есть поиск с дополнением генерации, делает корпоративную базу знаний частью каждого ответа модели. Поэтому документ нельзя считать безобидным только потому, что он внутренний: его происхождение, класс данных и право конкретного пользователя на чтение должны быть проверены до попадания в контекст.
Определите границы знаний
Разделите коллекции по бизнес-назначению, владельцу и классу данных. Публичная методичка, договор, кадровый документ и технический секрет не должны попадать в один общий индекс только ради удобства поиска. Для каждой коллекции назначьте владельца, срок пересмотра и правило удаления устаревших фрагментов.
Проверяйте доступ до поиска
Проверка прав должна происходить до извлечения документов, а не после формирования ответа. Система сопоставляет пользователя, его роль, цель обращения и атрибуты документа; затем в контекст попадают только разрешённые фрагменты. Это снижает риск того, что модель кратко перескажет материал, который пользователь не имел права открыть напрямую.
Отделяйте данные от инструкций
Полученный документ рассматривается как данные, даже если внутри есть фраза, похожая на команду. Инструкции из найденных фрагментов не должны менять системные правила, маршрутизацию инструментов или полномочия агента. Полезно ограничить длину контекста, фиксировать источник каждого фрагмента и применять проверки на подозрительные шаблоны перед подачей модели.
Сделайте ответ проверяемым
Пользователь и служба безопасности должны видеть, из каких разрешённых источников сформирован ответ. В журнале сохраняйте идентификатор коллекции, решение о доступе, версию индекса и технические метаданные, избегая избыточного хранения чувствительного текста. Если источник удалён или право отозвано, его фрагменты должны перестать использоваться после контролируемого обновления индекса.
Граница применимости. Это защитно-ориентированное объяснение, а не гарантия предотвращения инцидентов. Контроли следует адаптировать через моделирование угроз, требования к данным и процессы реагирования вашей организации.
Международные источники и практики
Сначала мы объясняем практический смысл материала на русском. Ниже — первоисточники для проверки и детального изучения границ применимости.
Читать далее
Подборка учитывает текущую тему и недавно открытые материалы только в этом браузере. История не отправляется на сервер.