Исследователи представили метод BITCOS для сжатия тернарных LLM

Исследователи представили BITCOS — новый метод адаптивного размещения данных, который позволяет преодолеть стандартный барьер сжатия в 1.58 бита для тернарных языковых моделей. В отличие от традиционного метода упаковки пяти тритов в байт, требующего 1.625 бита на вес, новая технология учитывает реальное распределение символов в весах нейросетей.

Анализ 29 тернарных моделей показал, что доля нулевых весов достигает 51.5%. Метод BITCOS использует плотную битовую карту присутствия ненулевых значений в сочетании с компактным вектором знаков. Это позволяет снизить объем памяти до 1.485 бита на вес для наиболее разреженных моделей, что эффективнее стандартных подходов в 26 из 29 протестированных архитектур.

Разработчики реализовали оптимизированные последовательности распаковки для инструкций AVX-512, AVX2 и графических процессоров Intel Xe2. Применение данного формата обеспечивает прирост производительности матрично-векторного умножения до 1.28x по сравнению с текущими промышленными решениями.

Тестирование на пяти различных аппаратных платформах, включая клиентские и серверные процессоры, показало увеличение пропускной способности декодирования до 1.18x на CPU и до 1.27x на GPU. Использование BITCOS позволяет эффективнее использовать ресурсы памяти при развертывании моделей с ограниченной точностью весов.

Данная разработка оптимизирует инференс для систем, где критически важна плотность хранения параметров. Переход на адаптивное сжатие снижает требования к пропускной способности памяти, что ускоряет работу LLM на широком спектре оборудования, от интегрированных графических ядер до высокопроизводительных серверных ускорителей.