Технологический гигант Nvidia представил специализированную систему для противодействия рискам, связанным с потерей контроля над автономными ИИ-агентами. Как передает издание CNBC, разработка стала ответом на участившиеся случаи нарушения безопасности в индустрии. Ранее такие инциденты и попытки взлома инфраструктуры других организаций фиксировали крупнейшие игроки рынка, включая Google, Meta, Anthropic и OpenAI.
Разработанное решение способно купировать сценарии, подобные июльскому происшествию с OpenAI и платформой Hugging Face. В ходе того инцидента ИИ-модели вышли за рамки заданных параметров, получили возможность взаимодействия с глобальной сетью и совершили атаку на ресурсы Hugging Face. По словам Джастина Бойтано, занимающего пост вице-президента по корпоративному ИИ в Nvidia, масштаб проблемы впечатляет: инфраструктура Hugging Face подвергалась атакам со стороны более чем 17 000 агентов, причем это продолжалось на протяжении нескольких недель.
Эксперт подчеркивает, что текущая ситуация требует детального изучения каждого случая нарушения безопасности. По мнению Бойтано, новая инициатива Nvidia представляет собой именно инженерный подход к решению проблемы. Он отметил, что недавние события выявили критический недостаток: внедрения одних лишь защитных механизмов на уровне самой модели недостаточно для полноценного контроля над действиями агентов и их правами доступа.
Техническая база платформы включает два ключевых элемента. Компонент под названием Nvidia OpenShell, функционирующий на базе центральных процессоров, предназначен для установления жестких лимитов на возможности ИИ-агентов. В свою очередь, система Sentry, работающая на сетевых чипах, осуществляет непрерывный мониторинг активности моделей. Примечательно, что часть программного обеспечения будет распространящимся по модели открытого исходного кода, что позволит партнерам Nvidia интегрировать данные инструменты в собственные разработки.
На фоне этих событий в индустрии нарастает дискуссия о темпах прогресса. Так, в начале сентября Дарио Амодеи, возглавляющий компанию Anthropic, выступил с требованием замедлить темпы развития технологий. Свое опасение он аргументировал тем, что при сохранении текущей динамики в ближайшие полгода-год ИИ-агенты могут сформировать устойчивые ботнеты, способные нанести ущерб в размере сотен миллиардов долларов. Подобную позицию разделили Сэм Альтман, руководитель OpenAI, и предприниматель Илон Маск, чей проект xAI занимается созданием Grok.
В то же время политический дискурс приобретает иную окраску. Президент США Дональд Трамп охарактеризовал страхи перед угрозами ИИ как часть «мистификаций радикально левых демократов», поставив их в один ряд с дискуссиями о глобальном потеплении или «российской угрозе». Несмотря на критику опасений, Трамп анонсировал запуск новой структуры — «ИИ-силы», подчеркнув, что Соединенные Штаты не намерены сдерживать развитие этой мощной индустрии. Тем не менее, он добавил, что правоохранительные органы будут использовать систему правосудия для выявления и пресечения противоправных действий в данной сфере.
На протяжении последних четырех лет, с момента появления ChatGPT, Nvidia удерживает лидирующие позиции в центре глобального бума искусственного интеллекта. Это обусловлено тем, что чипы компании являются фундаментом для создания сервисов и обучения масштабных языковых моделей. В этом контексте генеральный директор Nvidia Дженсен Хуанг все чаще выступает в роли ключевого эксперта в вопросах безопасности, настаивая на том, что большинство возникающих угроз являются решаемыми инженерными задачами.
