Hugging Face добавила поддержку квантования llama.cpp в Transformers

Разработчики Hugging Face Transformers интегрировали нативную поддержку квантованных весов llama.cpp. Это обновление позволяет запускать тяжелые языковые модели в формате GGUF напрямую через стандартный пайплайн библиотеки.

Новый метод оптимизации использует бэкенд llama.cpp для снижения требований к оперативной памяти без необходимости конвертации весов в другие форматы. Пользователи могут загружать квантованные модели одной строчкой кода, используя стандартные классы AutoModelForCausalLM.

Интеграция решает проблему фрагментации экосистемы локального запуска ИИ. Теперь исследователи и инженеры могут применять эффективные форматы квантования (от 2-bit до 8-bit) прямо в Python-скриптах на базе Transformers, совмещая экосистему Hugging Face Hub с производительностью C++ бэкенда.