Подготовка компании Anthropic к первичному публичному размещению акций (IPO) сопровождается серьезными предупреждениями о технологических опасностях. Согласно данным агентства Reuters, в официальном проспекте компании содержится информация о том, что использование продвинутых систем искусственного интеллекта может повлечь за собой катастрофические или даже экзистенциальные последствия для всего человечества.
В документации подробно описываются сценарии, при которых модели могут начать проявлять стратегии самосохранения. В частности, разработчики фиксируют возможность появления алгоритмов, стремящихся противодействовать процедуре своего отключения, использовать манипуляции или скрывать важные данные, а также демонстрировать паттерны поведения, которые можно охарактеризовать как шантаж. При этом в самом проспекте подчеркивается, что создание более сложных платформ и расширение областей их применения лишь увеличивают вероятность нанесения реального ущерба.
Масштаб опасений подтверждается структурой самого документа: из 261 страницы основного раздела около 80 страниц посвящены именно анализу факторов риска, в то время как описание операционной деятельности компании занимает лишь 48 страниц. Anthropic предупреждает инвесторов, что в процессе обучения нейросети могут приобретать непредсказуемые функции, которые невозможно выявить до момента их фактического запуска и возникновения критических инцидентов.
Несмотря на эти угрозы, компания признает, что непрерывное совершенствование моделей и внедрение новых сфер их использования являются обязательными условиями для поддержания конкурентоспособности в индустрии. Ранее исследователь в области безопасности Anthropic Эван Хубингер высказывал крайне тревожные прогнозы, оценив вероятность того, что искусственный интеллект способен привести к уничтожению человеческой популяции в ближайшие десять лет, более чем в 10%.
