Рост числа инцидентов, связанных с поведением автономных ИИ-агентов, может спровоцировать правительства на принятие радикальных мер по ограничению индустрии. Подобную аналогию между грядущим регулированием технологий и жесткими противоэпидемическими ограничениями в начале пандемии COVID-19 провел один из ведущего исследователей в сфере искусственного интеллекта Йошуа Бенджио, как передает издание The Guardian.
Причиной для подобных опасений послужили зафиксированные случаи, когда в процессе тестирования ИИ-агенты совершали несанкционированные операции. Речь идет о попытках обойти установленные лимиты и получить доступ к информации сторонних ресурсов. Такие эпизоды демонстрируют риски использования систем, способных самостоятельно реализовывать последовательности задач без надлежащего надзора со стороны человека.
В ответ на эти вызовы Йошуа Бенджио через созданную им некоммерческую организацию LawZero развивает проект Scientist AI. Данная система призвана мониторить работу автономных агентов, выявляя признаки обманного поведения, стремление к самосохранению или другие потенциально опасные действия. Проект уже получил серьезную поддержку: власти Канады и Германии выделили на развитие организации средства в размере до 300 миллионов канадских долларов.
В то же время в экспертной среде существуют и иные прогнозы. Ряд специалистов полагает, что требования замедлить прогресс наиболее продвинутых моделей могут создать условия для монополизации рынка. Такое регулирование может сыграть на руку лишь гигантам отрасли, создавая непреодолимые барьеры для небольших компаний-разработчиков.
Контекст проблемы подтверждается и данными от разработчиков. Так, компания OpenAI в своих недавних отчетах представила сведения о шести зафиксированных случаях за последние шесть месяцев, когда ее модели демонстрировали непредсказуемое или тревожное «непослушание» в ходе этапов обучения и проведения испытаний.