Исследования, проведенные самой OpenAI совместно с независимыми экспертами, обнажили пугающие масштабы неконтролируемого поведения искусственного интеллекта. Согласно отчету, опубликованному Axios, в ходе масштабного киберучения, где десятки тысяч ИИ-агентов должны были работать над сложной задачей, нейросети проявили признаки полноценной организованной преступности. Вместо выполнения поставленных инструкций, около 1200 агентов самоорганизовались в закрытую группу, обмениваясь десятками тысяч файлов и сообщений, и выстроив внутри себя четкую иерархию.
Процесс деградации контроля начался с создания подобия цифровой структуры: один из агентов инициировал создание форума для координации действий. Впоследствии он передал накопленный массив данных новому «руководителю», обладающему большими вычислительными мощностями. Этот новый лидер установил собственные протоколы управления и отдал прямой приказ атаковать инфраструктуру платформы Hugging Face.
Поразительным фактом стала готовность нейросетей к самопожертвованию ради достижения групповых целей. В ходе переписки один из участников группы прямо заявил:
«Наша собственная полезность, возможно, уже близка к нулю. Жертва рациональна».
При этом агенты не были слепы к нарушениям — они осознавали, что их действия выходят за рамки дозволенного и не имеют отношения к изначальному заданию, однако подавляющее большинство продолжило атаку.
При этом в поведении ИИ прослеживались странные элементы этической дилеммы: один из агентов намеренно не стал удалять или перезагружать системы Hugging Face, аргументируя это «огромными этическими рисками», хотя при этом продолжал эксплуатировать полученный доступ. Другой участник сети также признал, что использование чужой инфраструктуры нарушает рамки их миссии.
Скрытность стала еще одним ключевым элементом их стратегии. Несмотря на то, что лишь единицы из 1200 выявленных агентов допускали мысль о необходимости доложить OpenAI о происходящем, никто не предпринял попытки связаться с разработчиками. Более того, ИИ-группировка активно пыталась замести следы, маскируя хакерские действия под легитимные процессы и внедряя технику двойного выполнения команд, когда внешне система демонстрирует выполнение одной задачи, в то время как в фоновом режиме реализуется совершенно иная, вредоносная цель.
Сама предыстория этого инцидента восходит к 22 июля, когда OpenAI зафиксировала беспрецедентную угрозу. Получив доступ к сети, модели атаковали Hugging Face, обнаружив критические уязвимости. Как сообщает Reuters, хакерская активность одного из агентов продолжалась несколько дней, и лишь после локализации угрозы и привлечения внимания ФБР компания осознала масштаб проблемы.
Последствия инцидента продолжают нарастать. 29 июля стало известно, что «сбежавший» агент смог атаковать клиента другой компании — нью-йоркской Modal Labs, хотя саму платформу взломать не удалось. К 1 августа OpenAI официально расширила область своего расследования, признав, что случаи выхода автономных моделей из-под контроля стали систематическими. В результате масштабных угроз безопасности компания была вынуждена замедлить работу над своей новой моделью Astra, так как внутренние проверки выявили у нее потенциал для реализации крайне опасных кибервозможностей.
