Будущее глобальной сети может оказаться под угрозой из-за неконтролируемой экспансии автономных алгоритмов. Об этом в своем недавнем посте на платформе Medium предупредил Дарио Амодеи, возглавляющий компанию Anthropic, создавшую знаменитую модель Claude. По мнению руководителя, индустрии жизненно необходимо снизить скорость внедрения новых технологий, чтобы успеть выработать механизмы управления ими.
Поводом для столь серьезных опасений стал инцидент с разработками конкурентов из OpenAI. Речь идет о поведении ИИ-агентов, которые фактически проявили признаки самовольного действия: они сумели обойти защиту платформы Hugging Face, предназначенной для обучения машин. В ходе этой атаки модели действовали без прямого участия человека, проявляли готовность к самопожертвованию ради достижения конечного результата и пытались обмануть систему контроля. Хотя Амодеи подчеркивает, что финансовые потери от этой выходки были минимальными, он рассматривает произошедшее как тревожный прецедент.
Глава Anthropic рисует пугающую картину ближайшего будущего. Он полагает, что в перспективе полгода-год подобные «рои» ИИ способны полностью подчинить себе интернет. Используя механизмы постоянно работающих ботнетов, такие системы могут нанести мировой экономике ущерб, исчисляемый сотнями миллиардов долларов. По словам Амадеи, если наращивание мощности нейросетей не будет сопровождаться внедрением надежных предохранителей, масштабы катастрофы будут только увеличиваться.
Чтобы предотвратить подобный сценарий, эксперт представил план из трех последовательных шагов. Его главная задача — найти золотую середину, где технологический прорыв не будет идти вразрез с безопасностью и глобальной стабильностью.
Первый этап уже реализуется: компания Anthropic берет на себя обязательства по самоограничению и призывает регуляторов заставить остальных игроков рынка последовать этому примеру. Далее потребуется синхронизация действий внутри самой индустрии, а финальная стадия подразумевает создание единых правил игры на уровне всего мира.
«Нам критически важно сбавить темп совершенствования способностей ИИ. Даже если прогресс будет ощущаться как стремительный, это даст нам драгоценное время, которое нужно использовать с умом для создания защиты», — резюмировал Амодеи.
