Разработка Alice AI Foundation LLM стала результатом создания масштабной языковой модели в компании «Яндекс» с использованием исключительно отечественных компонентов, без привлечения зарубежных технологий. Об этом сообщили представители пресс-службы компании в интервью РБК.
Новая модель обладает внушительным объемом в 80 миллиардов параметров, при этом в процессе обработки запросов одновременно задействуются 3 миллиарда из них. Обучение нейросети базировалось на массиве данных объемом 18 триллионов токенов. Разработчики приняли решение сделать веса модели публичными, выпустив ее под лицензией Apache 2.0. Данный тип лицензирования открывает возможности для проведения научных исследований и коммерческого применения продукта.
Alice AI Foundation LLM представляет собой экспериментальный фундамент для создания будущей единой рассуждающей модели. Ее ключевая задача — стать базой для реализации агентских функций сервиса «Алиса AI». В перспективе это позволит пользователям делегировать системе выполнение ряда конкретных автономных действий.
В основе архитектуры лежит принцип Mixture of Experts (MoE). Благодаря тому, что в каждый момент времени активны лишь малая часть параметров, нагрузка на вычислительные мощности значительно снижается. Согласно сведениям от «Яндекса», модель демонстрирует выдающиеся способности в области программирования и логического рассуждения. Кроме того, в тестах на знание фактов, имеющих значение для русскоязычного сегмента, она опережает некоторые более масштабные открытые аналоги.
Для объективной проверки способностей нейросети специалисты компании подготовили два собственных инструмента оценки — бенчмарка WikiWebFacts и HardMultiQA. Если первый сфокусирован на проверке точности дат, определений, персоналий и исторических событий, то второй охватывает специализированные и редкие дисциплины, такие как право, медицина, искусство и IT. Совместно с моделями «Яндекс» опубликовал и наборы заданий, включая протоколы оценки и эталонные ответы.
Процесс обучения сопровождался серьезной технической оптимизацией. Инженерам удалось вдвое ускорить определенные фазы обучения за счет эффективной настройки передачи данных между видеокартами. Также применение каскада классификаторов позволило в десятки раз уменьшить объем вычислительных затрат, необходимых для фильтрации обучающей выборки.
Контекст разработки связан с изменениями в законодательстве. Представитель аппарата вице-премьера Дмитрия Григоренко подчеркнул, что нормы для национальных и суверенных ИИ-моделей теперь прописаны в законе № 243-ФЗ об искусственном интеллекте, который начал действовать 1 сентября. Для моделей, имеющих статус суверенных, установлены строгие рамки: все используемые компоненты обязаны иметь полностью российское происхождение.
Напомним, что развитие технологий в сфере искусственного интеллекта регулируется принятым 8 июля Госдумой законом, который получил подпись президента России Владимира Путина 26 июля.