Liquid AI представила модель LFM2.5-DSpark с ускоренным инференсом

Компания Liquid AI выпустила обновленную архитектуру LFM2.5-DSpark, ориентированную на повышение производительности при выполнении задач инференса. Новая версия модели демонстрирует прирост скорости генерации до 3.2 раза по сравнению с предыдущими итерациями в аналогичных вычислительных средах.

Разработчики внедрили оптимизации в механизм обработки последовательностей, что позволило сократить задержки при работе с длинными контекстами. В ходе внутренних тестов модель показала стабильную работу при снижении потребления оперативной памяти на 28%. Архитектура поддерживает динамическое распределение весов, что минимизирует количество операций с плавающей запятой на этапе декодирования.

Техническая реализация LFM2.5-DSpark включает переработанный слой внимания, который эффективнее использует кэш KV. Это решение позволяет запускать модель на потребительском оборудовании с меньшими требованиями к пропускной способности видеопамяти. Инструментарий для интеграции уже доступен в репозитории проекта, включая готовые конфигурации для развертывания в облачных средах.

Обновление направлено на устранение узких мест в производительности, характерных для стандартных трансформеров при работе с потоковыми данными. Снижение времени отклика делает модель пригодной для использования в интерактивных приложениях, требующих минимальной задержки при генерации текста в реальном времени.