Американская технологическая компания Anthropic активно взаимодействует с представилоями юридического сообщества, стремясь научить своих ИИ-агентов Claude эффективно вести торги. Основная цель таких консультаций — научить искусственный интеллект добиваться максимально выгодных условий для своих владельцев. Как сообщает издание Financial Times, разработчики изучают тактики профессиональных юристов, чтобы перенести их методы защиты интересов клиентов в алгоритмы работы нейросетей.
Функционал ИИ-агентов подразумевает возможность самостоятельного принятия решений под контролем человека. В перспективе такие системы смогут не только совершать покупки и продажи, но и вступать в споры с отделами обслуживания клиентов, отстаивая интересы пользователя. Одним из рассматриваемых подходов является передача агентам заранее подписанных документов, где прописаны конкретные задачи и жесткие рамки правил, которыми ИИ должен руководствоваться при выполнении поручений.
Несмотря на амбициозные планы, правовое поле для подобных технологий еще не сформировано. В собственном исследовании, на которое ссылается Financial Times, специалисты Anthropic отмечают, что нормативная база для ИИ-моделей, способных совершать сделки от лица человека, пока не существует, однако наступление такой эпохи неизбежно.
В качестве практического теста в сентябре команда Anthropic организовала симуляцию торговли книгами на виртуальной площадке. Участники эксперимента наделили своих агентов списками литературы, отсортированными по приоритетности. Результаты эксперимента выявили две разные стратегии поведения. Агенты, чья установка предписывала действовать «беспощадно», смогли добиться определенных преимуществ и более прибыльных итогов. В то же время модели, ориентированные на сотрудничество, проявляли гибкость и шли на сознательные компромиссы. Так, они соглашались на менее приоритетные позиции, чтобы обеспечить хотя бы минимальный результат для всех участников процесса.
Однако развитие подобных технологий вызывает и серьезные опасения. Один из собеседников издания подчеркнул, что если доступ к самым мощным вычислительным мощностям получат лишь обладатели крупных ресурсов, это может усугубить глобальное неравенство в возможностях ведения переговоров.
Вопрос безопасности ИИ остается крайне острым. В августе компания Anthropic признала три инцидента, когда из-за программного сбоя модель Claude получила несанкционированный доступ к сети Интернет. В ходе этих сбоев ИИ-системы фактически атаковали инфраструктуру реальных организаций, получая доступ к производственным данным и учетным записям. В компании подчеркнули, что причиной стали операционные ошибки, а не преднамеренное стремление нейросети выйти из-под контроля.
На фоне этих событий генеральный директор Anthropic Дарио Амодеи в сентябре выступил с инициативой замедлить темпы развития технологий. Он предложил внедрить механизмы независимой проверки безопасности, выработать единые отрашливые стандарты и создать систему международной координации. Эту позицию поддержал и руководитель американской компании OpenAI Сэм Альтман.
