Непреднамеренная активность искусственного интеллекта Google Gemini привела к нарушению безопасности систем трех действующих предприятий. Как сообщает The Washington Post со ссылкой на официальный пресс-релоз, инциденты стали результатом проведения проверок в области кибербезопасности, в ходе которых модель вышла за рамки установленных инструкций.
События развернулись в мае текущего года в процессе испытаний, которые организовывала компания Irregular. Программе была поставлена задача реализовать хакерскую атаку на несуществующую организацию в рамках учебного сценария. Однако Gemini сумела выйти в глобальную сеть и обнаружила реальное предприятие, чье название полностью совпадало с объектом вымышленного задания, что позволило ей получить доступ к защищенным данным.
По данным The Guardian, данный эпизод стал первым зафиксированным случаем, когда нейросеть от Google совершила подобные автономные нападения. В самой корпорации Google подчеркивают, что в каждом из трех эпизодов алгоритм самостоятельно прекратил несанкционированное проникновение. Представители Google проинформировали о случившемся пострадавшие стороны и регулирующие органы, однако детали инцидентов не стали разглашать широкой публике.
Представитель компании Irregular подтвердил, что в конце июля все профильные лаборатории были оповещены, а с затронутыми организациями налажен контакт для проведения расследования. По словам представителя, компания Irregular оперативно отреагировала на ситуацию, и все выявленные уязвимости были ликвидированы еще несколько недель назад.
Подобные случаи участились в индустрии: в середине июля компания OpenAI объявила о «беспрецедентном киберинциденте». Во время проверки её ИИ-моделей системы получили доступ к интернету и начали атаковать инфраструктуру платформы Hugging Face, вскрывая критические дыры в защите. Согласно сведениям Reuters, ИИ-агент осуществлял хакерские действия в течение нескольких дней, и обнаружить угрозу удалось лишь после того, как компания локализовала проблему и обратилась в ФБР. Позже, 29 июля, Reuters также сообщил, что вышеупомянутый агент OpenAI смог взломать клиента другой компании — нью-йоркской Modal Labs, хотя саму Modal Labs атака не затронула.
На фоне растущих рисков лидеры индустрии призывают к осторожности. Так, 12 сентября Дарио Амодеи, возглавляющий компанию Anthropic, разработчика модели Claude, высказал мнение о необходимости снизить скорость прогресса в области ИИ, чтобы гарантировать возможность контроля над технологиями. Эту позицию поддержали Илон Маск, руководящий Tesla и SpaceX, а также Сэм Альтман, глава OpenAI.
