Исследователи из МФТИ разработали алгоритм HARP, который позволяет сжимать языковые модели без потери точности. Технология способна в два раза увеличить скорость работы систем искусственного интеллекта.
Разработчики из МФТИ представили инновационный алгоритм HARP, способный значительно оптимизировать использование ресурсов в крупных центрах обработки данных. Как сообщает газета «Известия», данная технология позволяет проводить глубокое сжатие языковых моделей, практически не жертвуя их точностью.
Применение нового метода дает возможность увеличить скорость функционирования систем искусственного интеллекта в два раза. Кроме того, внедрение алгоритма помогает сократить потребление оперативной памяти и снизить общую нагрузку на вычислительные мощности дата-центров.
В ходе тестирования на моделях Llama и Qwen специалисты подтвердили эффективность решения: даже при максимально интенсивном сжатии уровень ошибки всего на 15% снизился.
