Спросите базу угроз и стандартов
Ответы основаны только на редакционной базе AI-first.tech: карточках угроз, стандартах OWASP и NIST и проверенных материалах. Навигатор не выдаёт эксплуатационных инструкций.
экспертные ответы
Анатомия AI-слоя: от входного текста до действия
Выберите компонент на схеме: вокруг ядра AI расположены реальные поверхности атаки из редакционной базы. Карта превращается в защитный путь атаки, аналитику CISO или инструмент разговора интегратора.
Переведите карту угроз в язык управленческого решения
Режим помогает интегратору показать одну и ту же доказательную цепочку разным участникам: CISO — границы защиты, CEO — решение и операционную устойчивость, CFO — проверяемые границы пилота.
Где граница доверия?
Начните с трёх путей: недоверенный контент → RAG → инструмент, поставка → выполнение и внешний канал → решение о мошенничестве. Зафиксируйте учётную запись, политику и журнал аудита до действия.
- Согласовать владельцев и цели мер защиты
- Показать сценарии A34, A13 и A16
- Проверить телеметрию и откат
Что не должно замедлять бизнес?
Не предлагайте «запретить AI». Покажите управляемую автономность: понятные зоны для помощников, агентных действий и данных, где человеческое подтверждение действительно требуется.
- Связать AI-сценарий и бизнес-владельца
- Определить разрешённые действия AI
- Задать условия безопасного масштабирования
Что именно проверяет пилот?
Сформулируйте критерии как наблюдаемые доказательства: решение политики, ограниченные полномочия, трассировка, согласование и откат. Это не оценка экономического эффекта и не обещание предотвращения инцидентов.
- Согласовать узкие границы и класс данных
- Измерить прохождение защитных проверок
- Показать владельца и путь эскалации
Четыре шага к согласованному пилоту
- 01Бизнес-сценарийНазначение AI, класс данных, системные границы и владелец процесса.
- 02Путь угрозыТри сценария, которые важны именно для этого потока, а не абстрактный список рисков.
- 03Доказательство защитыПолитика, учётная запись, согласование и телеметрия, которые можно наблюдать и повторить.
- 04РешениеПрозрачный вопрос: масштабировать, изменить защитное ограничение или остановить использование.
Где AI Security пересекается с кибербезопасностью
AI добавляет новые точки принятия решений и источники контекста, но использует знакомые защитные дисциплины: учётные записи, целостность, защиту данных, контроль API и цепочку поставки.
Внедрение инструкций (prompt injection)
Социальная инженерия / недоверенный ввод
Недоверенный контент пытается изменить последовательность принятия решения. В AI-системе он может попасть через чат, документ или найденный контекст.
Сузьте карту до релевантного риска
Связи со стандартами помогают перейти от специфичного для AI сценария к знакомым дисциплинам моделирования угроз, управления риском и защитным мерам.
Прямое внедрение инструкций в запрос пользователя
Direct Prompt InjectionПользователь формулирует запрос так, чтобы модель проигнорировала системные инструкции и правила разработчика. Для бизнеса это срыв политик безопасности, раскрытие внутренних инструкций и небезопасные ответы от имени компании.
Секреты в запросах и контексте модели
Secrets in prompts and contextРазработчики ради удобства интеграции иногда помещают ключи API, строки подключения и внутренние адреса прямо в инструкции и контекст модели. Это прямой риск компрометации внешних API, CRM и ERP, векторных баз, хранилищ и внутренних приложений.
Утечка данных через теневое использование AI
Shadow AI data leakageСотрудники пользуются публичными AI-инструментами без согласования с ИТ и службой безопасности и загружают туда рабочие материалы. Компания теряет контроль над интеллектуальной собственностью и не знает, какие сведения уже оказались во внешних сервисах.
Отравление содержимого корпоративной базы знаний RAG
RAG content poisoningВредоносный или просто ошибочный документ попадает в базу знаний и начинает влиять на ответы ассистента. Сотрудники и клиенты получают искажённые рекомендации от системы, которой привыкли доверять. Особенно чувствительны поддержка клиентов, кадровые и юридические вопросы.
Извлечение модели через злоупотребление API
Model extraction via API abuseАтакующий многократно обращается к API модели, чтобы воспроизвести её поведение или построить модель-заменитель. Компания теряет интеллектуальную собственность и доход от неё, а последующие атаки на модель упрощаются.
Отравление инструментов агента и MCP-серверов
MCP/tool poisoningИнструмент, подключённый к AI-агенту, может нести вредоносные указания в собственном описании. Исследования средств AI-разработки показывают риск внедрения инструкций (prompt injection) через такие инструменты в средах на основе MCP. В результате агент разработчика способен изменить код или раскрыть секреты.
Небезопасная передача вывода модели в смежные системы
Unsafe output handling into downstream systemsОтвет модели — недоверенные данные. Если приложение исполняет или интерпретирует его без проверки, возможно внедрение в смежные системы. OWASP LLM05 выделяет небезопасную обработку вывода как отдельный риск. Итог — повреждённые записи, небезопасная автоматизация и злоупотребление рабочими процессами.
Мошенничество с дипфейками руководителей
Deepfake BEC / synthetic executive fraudСинтезированные голос и видео позволяют выдавать себя за руководителя, партнёра или клиента, чтобы добиться платежа или раскрытия учётных данных. Привычная проверка «узнаю голос и лицо» перестаёт быть доказательством личности.
Косвенное внедрение инструкций через веб-страницы
Indirect Prompt Injection via web pagesВредоносная инструкция размещается во внешнем контенте, который AI читает как данные. Сотрудник получает искажённый вывод, а ассистент с инструментами может передать данные наружу или выполнить нежелательное действие.
Раскрытие чувствительных данных в ответах модели
Sensitive Information Disclosure via model outputАссистент включает в ответ персональные, финансовые, медицинские или коммерческие сведения, которые пользователю видеть не положено. OWASP описывает этот риск в категории LLM02; для компании он означает нарушение NDA, коммерческой тайны и требований к персональным данным.
Дрейф данных как источник риска безопасности
Data drift exploited as security riskДрейф данных не всегда является атакой, но им может воспользоваться атакующий, либо он сам приводит к уязвимому поведению AI-системы. Модель продолжает работать, а её решения постепенно становятся опасными для бизнеса.
Отравление данных обучения и дообучения модели
Data poisoning in training/fine-tuningВ набор данных для обучения или дообучения попадают специально подготовленные записи, и модель усваивает искажённое поведение. OWASP относит этот риск к категории LLM04: последствиями становятся закладки, предвзятость и небезопасные ответы. Обнаружить проблему после выпуска модели трудно.