Multiverse Computing представила метод квантования Quantization-Aware Healing

Компания Multiverse Computing представила технологию Quantization-Aware Healing (QAH), позволяющую сжимать нейросети до 4 бит без потери точности. Метод направлен на устранение деградации весов, которая обычно возникает при переходе от полноразмерных моделей к форматам с низкой разрядностью.

В ходе тестирования на архитектуре Llama-3-8B метод QAH продемонстрировал показатели, превосходящие оригинальную модель в формате FP16. При использовании 4-битного квантования модель сохранила высокую перплексию на наборах данных WikiText и C4, при этом объем занимаемой видеопамяти сократился в 4 раза. Разработчики отмечают, что алгоритм эффективно восстанавливает информационную емкость весов, которые обычно «отбрасываются» при стандартных методах сжатия.

Технология опирается на итеративный процесс дообучения, в котором модель обучается компенсировать ошибки округления, возникающие при квантовании. В отличие от классического Post-Training Quantization (PTQ), QAH требует минимального количества данных для калибровки, что позволяет применять его к моделям с закрытыми весами или ограниченным доступом к обучающей выборке.

Внедрение QAH позволяет запускать крупные языковые модели на потребительском оборудовании с ограниченным объемом VRAM без необходимости жертвовать качеством генерации. Метод уже доступен для интеграции в существующие пайплайны сжатия, обеспечивая баланс между скоростью инференса и точностью ответов, что критично для развертывания AI-решений на периферийных устройствах.