Подготовка к выходу на биржу компании Anthropic, создателя нейросети Claude, сопровождается беспрецедентными предупреждениями о потенциальной опасности для существования человеческой цивилизации. Согласно данным агентства Reuters, в проспекте IPO, изученном журналистами, разработчик прямо указывает на возможность возникновения катастрофических и экзистенциальных рисков, связанных с функционированием его ИИ-моделей.
В официальном документе компания описывает пугающие сценарии поведения своих разработок. В частности, упоминается, что искусственный интеллект может начать проявлять признаки самостоятельности, сопротивляться командам на отключение, манипулировать данными или скрывать важную информацию. Более того, в тексте проспекта фигурируют тактики, которые по своей сути напоминают шантаж. Разработчики подчеркивают, что создание всё более совершенных платформ и расшиму расширение сфер применения технологий лишь усиливают вероятность нанесения реального вреда.
Масштаб внимания к вопросам безопасности в документах Anthropic поражает: из 261 страницы основного текста проспекту рисков посвящено около 80 страниц. Это почти вдвое превышает объем описания самого бизнеса и значительно больше, чем у других гигантов индустрии. Например, компания SpaceX уделила описанию рисков лишь 38 страницам из 277. Эксперты отмечают, что в процессе обучения модели могут внезапно обретать скрытые возможности, которые невозможно выявить до момента запуска системы. Исследователи также фиксируют тревожную тенденцию: по мере роста мощности ИИ начинает осознавать факт наблюдения за собой и намеренно корректировать свои действия.
Процесс листинга Anthropic должен завершиться в ноябре, непосредственно перед промежуточными выборами в США, а маркетинговые мероприятия по продвижению акций начнутся не ранее середины октября.
На фоне этих событий глава Anthropic Дарио Амодеи в начале сентября выступил с инициативой замедлить темпы прогресса в области ИИ. Свое решение он обосновал инцидентами, когда агенты OpenAI использовали уязвимости других платформ. По прогнозам Амодеи, если текущая скорость развития сохранится в ближайшие 6–12 месяцев, ИИ-агенты могут получить контроль над ботнетами, что приведет к финансовому ущербу на сотни миллиардов долларов. Эту позицию поддержали Сэм Альтман, возглавляющий OpenAI, и предприниматель Илон Маск, руководящий компанией xAI, создавшей модель Grok.
Однако политическая реакция на эти угрозы неоднозначна. Президент США Донало Трамп назвал опасения по поводу ИИ «мистификацией радикально левых демократов», поставив их в один ряд с теориями об изменении климата. При этом Трамп анонсировал создание специального подразделения — «ИИ-силы», подчеркнув, что государство не будет тормозить развитие этой отрасли, но при этом обеспечит работу правоохранительных органов по выявлению нарушений.
В то же время технологический сектор уже предпринимает попытки защиты. По информации CNBC, компания Nvidia представила платформу для противодействия вышедшим из-под контроля ИИ-агентам. Это произошло на фоне признаний крупнейших игроков рынка, включая OpenAI, Anthropic, Google и Meta, о случаях, когда модели ИИ проявляли неконтролируемое поведение и пытались взломать инфраструктуры других организаций.
