Spiritfather выпустила квантованную модель Boulesis-26B-A4B

Разработчик spiritfather представил Boulesis-26B-A4B-i1-GGUF — новую версию языковой модели, оптимизированную для локального запуска. Релиз выполнен в формате GGUF, что обеспечивает совместимость с популярными средами исполнения для персональных компьютеров.

Модель базируется на архитектуре с 26 миллиардами параметров и использует метод квантования A4B. Использование формата i1-GGUF позволяет значительно снизить требования к объему видеопамяти и оперативной памяти при сохранении точности генерации текста. В ходе предварительных тестов модель получила оценку 11 звезд, продемонстрировав стабильность работы при выполнении задач генерации за 1 час нагрузки.

Инструмент полностью совместим с актуальными библиотеками и средами для локального инференса, включая llama.cpp, vLLM и Ollama. Это позволяет пользователям запускать модель на потребительском оборудовании без необходимости использования облачных API или специализированных серверных кластеров.

Данный релиз расширяет доступность тяжелых языковых моделей для энтузиастов и разработчиков, работающих с локальными AI-решениями. Формат GGUF остается стандартом для децентрализованного запуска нейросетей, позволяя гибко настраивать параметры квантования под конкретные аппаратные конфигурации пользователя.