CoSpaDi позволяет уменьшать размер уже обученных нейросетей без дообучения, сохраняя более высокую точность ответов по сравнению с другими методами сжатия. Об этой разработке 28 ноября на конференции AI Journey расскажет руководитель департамента фундаментальных исследований MWS AI Стаматис Лефкиммиатис.
Код CoSpaDi может быть полезен организациям, которые запускают большие языковые модели на оборудовании с ограниченным объёмом памяти и не имеют возможности расширить парк устройств. Уменьшенные таким образом модели могут использоваться, например, в корпоративных помощниках и сервисах анализа документов. Опубликованный код позволит разработчикам и исследователям применить CoSpaDi для работы моделей, которые используются в их продуктах и разработках, а также протестировать в собственных экспериментах.
Метод направлен на решение одной из актуальных задач индустрии ИИ — снижение требований нейросетей к вычислительным ресурсам при сохранении качества их работы. CoSpaDi предполагает более компактное хранение весов – параметров, от которых зависят результаты работы нейросети. Их представляют через комбинации малого числа компонент из специально подобранного набора — словаря.
«Мы пересмотрели привычный способ сжатия весов модели и предложили более гибкий: для представления каждого столбца матрицы весов подбирается своя комбинация компонентов из общего словаря. На моделях семейства Llama и Qwen размером от 0.6 до 14 млрд параметров при сжатии на 20–40% CoSpaDi показал в среднем более высокую точность ответов, чем популярный SVD-LLM — метод на основе низкорангового приближения. Для бизнеса такие результаты открывают возможность развертывать модели в своем контуре или контуре заказчика с меньшими затратами на инфраструктуру, либо обслуживать больше пользователей одновременно на имеющемся оборудовании. Подход также позволяет ускорять работу моделей — масштаб ускорения зависит от оборудования и программной реализации. Эта работа стала отправной точкой для создания серии других наших методов, которые также можно применять к нейросетям для работы с изображениями и аудио», — пояснил Денис Махов, ведущий разработчик департамента фундаментальных исследований MWS AI.
Научная работа с описанием разработки опубликована в материалах ведущей международной конференции по обработке естественного языка EMNLP 2026, прошедшей в Будапеште.
Код CoSpaDi опубликован на GitHub, статья о работе метода доступна на сайте конференции