Попытки использовать передовые нейросети для манипуляций с патогенами заставили компанию Anthropic резко ужесточить контроль над доступом к своим технологиям. Как сообщает The New York Times, в текущем году разработчику удалось пресечь ряд подозрительных запросов, которые могли послужить фундаментом для создания биологического оружия.
Главная сложность для безопасности заключается в самой природе научных изысканий. В официальном отчете Anthropic подчеркивается, что грань между созданием жизненно важных вакцин и разработкой смертоносных вирусов крайне размыта. Исследователи, стремясь обойти защитные фильтры, намеренно маскировали истинные цели своих изысканий, используя методы обхода региональных ограничений.
Джейкоб Кляйн, возглавляющий в Anthropic подразделение по анализу угроз, отмечает, что реальность далека от киношных сценариев, где злодеи открыто заявляют о планах по уничтожению человечества. По его словам, ситуация выглядит гораздо более запутанной и неоднозначной. Из-за невозможности точно определить намерения пользователей компания предпочла не разглашать детали, включая личности участников, их страны и конкретные биологическим объекты, но приняла решение заблокировать подозрительные аккаунты.
Одним из наиболее тревожных инцидентов стал случай, произошедший в мае. Тогда пользователь нейросети Claude пытался подготовить заявку на грант для работы с вирусом чикунгунья. Целью проекта было создание мутаций, повышающих агрессивность вируса при повторном заражении подопытных животных. Сигнал тревоги прозвучал, когда выяснилось, что конечным заказчиком данных исследований выступает военный научно-исследовательский институт.
Напомним, что вирус чикунгунья, распространяемый комарами, поражает людей в регионах Америки, Азии и Африки, вызывая тяжелые лихорадочные состояния, боли в суставах, тошноту и сыпь. И хотя Anthropic не может однозначно утверждать, что целью была именно разработка оружия, сам факт усиления функций вируса в рамках работы военного ведомства вызывает серьезную обеспокоенность. Как подчеркнул Джейкоб Кляйн, именно такие исследования двойного назначения требуют особого внимания.
В Anthropic признают, что старые версии моделей не представляли критической угрозы для биологической безопасности. Однако растущие возможности новых систем, способных решать сложнейшие научные задачи, вынуждают компанию вводить более жесткие ограничения на любые запросы, связанные с биологическими исследованиями.
На фоне этих событий индустрия ИИ переживает внутренний кризис. На этой неделе компанию покинул исследователь Джейкоб Коксон. Его уход связан с фундаментальными опасениями: Кокшен считает, что темпы развития самосовершенствующихся систем стали опасными. По его мнению, без государственного регулирования или глобального соглашения о замедлении прогресса, ни одна частная компания не сможет гарантировать безопасность ИИ, превосходящего человеческий разум.
К этой дискуссии присоединяется и Джеффри Хинтон, признанный авторитет и лауреат Нобелевской премии, которого часто называют «крестным отцом» современного искусственного интеллекта. Он предупреждает, что создание сверхмощного «суперинтеллекта» может обернуться катастрофой для цивилизации, так как на данный момент у человечества нет инструментов для безопасного контроля над системами, значительно превосходящими нас по интеллектуальным способностям.