Разработчики представили локальный API jev_local для работы с LFM-моделями

Разработчики представили jev_local — локальный API-интерфейс, предназначенный для обработки текстовых и визуальных запросов. Инструмент обеспечивает получение вероятностных оценок в форматах Choice, Score или Noul, используя возможности движка llama.cpp.

Система поддерживает работу с моделями семейства LFM 2.5, обеспечивая интеграцию как для текстовых данных, так и для анализа изображений. В ходе тестирования производительности решение продемонстрировало результат в 8 баллов при обработке запросов за 8 часов непрерывной работы.

Для развертывания инструмента предусмотрены скрипты автоматизации setup.sh и run.sh, которые настраивают окружение для локального запуска. Архитектура решения ориентирована на выполнение вычислений непосредственно на стороне пользователя без обращения к внешним облачным серверам.

Инструмент позволяет интегрировать вероятностный анализ в локальные пайплайны обработки данных. Использование jev_local дает возможность стандартизировать вывод моделей при классификации контента или извлечении структурированной информации в формате JSON.