Метод базируется на улучшении квантования — процесса, при котором веса нейронной сети кодируются меньшим количеством битов. Традиционное сжатие часто приводит к снижению качества ответов модели, однако HARP минимизирует эти искажения, выступая не заменой, а дополнением к существующим технологиям. Разработчики уже открыли доступ к алгоритму и готовым моделям для свободного использования.
Алгоритм HARP от МФТИ ускорит работу нейросетей
Исследователи из МФТИ представили алгоритм HARP, оптимизирующий сжатие больших языковых моделей для снижения нагрузки на серверы дата-центров. Новое решение позволяет уменьшать объем данных без существенной потери точности, что дает возможность эффективнее использовать имеющиеся вычислительные мощности в условиях их дефицита и растущего спроса на ИИ-сервисы.

Эксперт НТИ Евгений Вишневский подчеркнул, что преимущество разработки заключается в возможности интеграции в текущие рабочие процессы без их перестройки. Эффективность инструмента на практике будет варьироваться в зависимости от архитектуры конкретной модели и условий эксплуатации, но для российского ИИ-рынка такой подход станет способом масштабирования сервисов при ограниченных аппаратных ресурсах.



Комментарии (0)
Пока нет комментариев. Будьте первым!