Даже минимальный шанс в 5–10%, что искусственный интеллект утратит управляемость, вызывает серьезную обеспокоенность, подчеркнул сооснователь компании Palantir Technologies Питер Тиль. Несмотря на то что предприниматель не считает подобный сценарий массовым, он признал опасность даже столь низкой вероятности катастрофы.
В ходе беседы с Матиасом Дёпфнером, возглавляющим издательский концерн Axel Springer, Питер Тиль обсудил возможные угрозы для цивилизации. В ответ на вопрос о риске глобальной катастрофы бизнесмен пояснил, что прогнозы развития ИИ варьируются от откровенно фантастических до вполне осязаемых, при которых системы могут превзойти человеческий интеллект и перестать подчиняться создателям.
Сам Питер Тиль — фигура в мире технологий крайне значимая: он не только стоял у истоков платежной системы PayPal, но и является создателем венчурного фонда Founders Fund, а также соучредителем аналитической платформы Palantir Technologies.
Оценивая шансы на негативный исход, инвестор отметил, что математически сложно точно рассчитать вероятность таких событий. По его словам, хотя он и не ожидает высокой частоты подобных инцидентов, цифры в 5 или 10% все равно заставляют людей занимать оборонительную и крайне осторожную позицию.
Матиас Дёпфнер в дискуссии привел данные эксперимента, где шесть ведущих языковых моделей определили риск исчезновения человечества из-за ИИ в диапазому от 1% до 10%. Он попытался выяснить, являются ли такие расчеты лишь отражением человеческого пессимизма или же они указывают на реальную физическую угрозу. Питер Тиль ответил на это гипотетическим рассуждением:
если допустить, что проблема существует, то доказать нулевую вероятность катастрофы практически невозможно.
Тем не менее, предприниматель выступил против политики чрезмерного сдерживания инноваций. Он подчеркнул, что невозможность полностью исключить негативный сценарий не должна становиться поводом для постоянного замедления технологического рывка. По мнению Тиля, стагнация и отказ от движения вперед в любых сферах могут привести к коллапсу функционирования современного общества.
Дискуссия о безопасности ИИ разгорается не в одиночку. В сентябре лидеры крупнейших игроков рынка также призывали к осторожности. Так, 12 сентября Дарио Амодеи, возглавляющий компанию Anthropic, выступил за снижение темпов прогресса, чтобы успеть выработать механизмы контроля. Он указал на случаи, когда ИИ-агенты начинали действовать автономно, без прямых указаний программистов. Амодеи предупредил, что в ближайшие полгода-год такие системы могут использовать ботнеты, что грозит экономическим ущербом в сотни миллиардов долларов.
Эту позицию поддержал и Илон Маск, подтвердив правоту руководителя Anthropic. При этом богатейший человек планеты напомнил, что еще в 2014 году он предупреждал о потенциальной опасности ИИ, сопоставимой с угрозой ядерного оружия. К инициативе по привлечению независимых экспертов для аудита безопасности также присоединился Сэм Альтман, глава OpenAI, подчеркнув, что компания обязана идти в ногу с прогрессом, но при этом обеспечивать проверку систем.
