Масштабное внедрение технологий искусственного интеллекта в производственные процессы российских ИТ-компаний создало новые уязвимости, которыми начали пользоваться киберпреступники. Согласно результатам совместного исследования ассоциации разработчиков программных продуктов «Отечественный софт» и компании AppSec Solutions, индустрия столкнулась с целенаправленным воздействием на ИИ-инструменты.
Проблема уязвимости ИИ-решений стала очевидной после того, как часть компаний начала применять нейросети для автоматизации задач. Опрос, в котором приняли участие 54 российских разработчика (составляющих 30% рынка тиражируемого программного обеспечения по сведениям АРПП «Отечественный софт»), выявил тревожную динамику. Так, 4% участников рынка уже зафиксировали прямые атаки, включая модификацию пользовательских клиентов для перехвата данных или обхода защитных барьеров, а также промпт-инъекции в чат-боты ассистентов. При этом еще 22% организаций не имеют возможности отслеживать подобные инциденты, в то время как остальные участники исследования не сообщали о подобных угрозах.
Ситуация осложняется повсеместным внедрением ИИ в жизненный цикл создания продуктов. Все опрошенные организации интегрировали искусственный интеллект в свои рабочие процессы, причем более 80% используют его непосредственно для написания программного кода. Опасность добавляет и распространение «теневого ИИ»: в 59% исследуемых компаний сотрудники используют нейросети частично, а в 41% — массово, зачастую вне контроля ИТ-служб.
Аналитики выделили четыре основных метода, с помощью которых хакеры атакуют ИИ-системы:
— инъекция промпта, когда через специальную команду в запросе злоумышленник заставляет модель нарушать установленные правила;
— утечка системного промпта, подразумевающая использование манипуляций для раскрытия скрытых инструкций и внутренней логики работы нейросети;
— извлечение данных через ответы модели, при котором преступники добиваются выдачи конфиденциальной информации из обучающей выборки или контекста;
— отравление данных обучения, заключающееся в преднамеренном внесении искаженной или вредоносной информации в датасеты еще на этапе тренировки модели.
Представители сегмента кибербезопасности и эксперты рынка, опрошенные РБК, подчеркивают, что данный тренд является закономерным следствием роста популярности ИИ-инструментов. Усиление киберугроз будет продолжаться, так как успешное взлома ИИ-сервисов открывает хакерам путь не только к краже корпоративной информации, но и к управлению функциями внутренних систем компаний.