Исследователь предложил метод квантования моделей RWKV-7

Разработчик представил результаты исследования посттренировочного квантования семейства нейросетей RWKV-7, охватывающего модели от 0.1B до 13.3B параметров. Автор проанализировал причины деградации 4-битных версий на примере модели 2.9B, обнаружив, что до 86% вклада группы o_proj приходится на выходную проекцию нулевого блока, где сосредоточена основная энергия входа.

Для решения проблемы предложен метод автоподбора битности, основанный на правиле «снятый вред на байт», и адаптирован алгоритм GPTQ. Применение этих подходов позволило снизить потерю перплексии до +2.76% для модели 0.1B и до +0.70% для 13.3B при использовании 31.6–35.2% от исходного размера в формате bf16. В пресете REDUCTION точность составила +0.46–0.07% при сохранении 46–50% веса модели.

Сравнительные тесты показали, что предложенный 6-битный метод с GPTQ превосходит GGUF Q6_K с imatrix в 2.0–3.3 раза и MLX int6 в 3.5–7.4 раза по метрике KL-дивергенции при равном размере файла. 4-битная версия метода оказалась в 2.1 раза точнее, чем стандартный Q4_K_M, который демонстрирует критическую потерю качества на моделях среднего размера.

Результаты исследования позволяют разработчикам локальных нейросетей эффективнее сжимать модели архитектуры RWKV, минимизируя деградацию точности за счет выборочного сохранения точности наиболее значимых матриц. Это дает возможность запускать более крупные модели на ограниченном аппаратном обеспечении без существенной потери качества генерации.