Что произошло
Примерно через три недели после того, как Samsung разрешила сотрудникам пользоваться ChatGPT, в начале апреля 2023 года стало известно о нескольких случаях передачи в сервис конфиденциальных данных. Один инженер вставил исходный код из внутренней базы данных для поиска ошибок, другой передал код для выявления дефектов оборудования, третий загрузил расшифровку внутреннего совещания для составления протокола. В качестве экстренной меры компания ограничила размер запроса до 1024 байт. В апреле Samsung провела внутренний опрос, в котором около 65% участников назвали использование генеративного AI риском для безопасности. С 1 мая 2023 года компания запретила ChatGPT, Bing, Bard и аналогичные сервисы на корпоративных устройствах и во внутренней сети.
Где нарушилась защита
Технической уязвимости не было: сотрудники добровольно отправили данные во внешний сервис, чтобы ускорить работу. По условиям ChatGPT на тот момент переданные данные могли использоваться для улучшения моделей, а удалить конкретные запросы было нельзя. Граница доверия нарушилась на выходе данных из корпоративного контура: компания разрешила сервис, не установив правил и технических ограничений на передаваемые данные.
Последствия
- Исходный код и сведения о процессах полупроводникового производства оказались на серверах внешнего поставщика
- Samsung ввела запрет на генеративные AI-сервисы на корпоративных устройствах с 1 мая 2023 года
- Случай стал одним из самых цитируемых примеров теневого использования AI
Реакция
Samsung ограничила размер запросов до 1024 байт, затем запретила генеративные AI-сервисы на корпоративных устройствах и в сети компании и объявила о разработке внутренних AI-инструментов.
Уроки для бизнеса
- Разрешение AI-сервиса без правил и технических ограничений почти сразу приводит к утечкам
- Сотрудники передают в AI самые ценные данные, потому что именно с ними нужна помощь
- Запрет решает проблему временно; устойчивое решение — одобренный инструмент с контролем данных
Меры, которые предотвратили бы инцидент
- Внедрить политику допустимого использования AI до открытия доступа к сервисам
- Использовать корпоративные AI-сервисы с запретом обучения на данных клиента
- Применять DLP для контроля передачи исходного кода и конфиденциальных документов в AI-сервисы
- Вести реестр используемых AI-сервисов и выявлять теневое использование