Разработчики представили Splash для ускорения Qwen на Apple Silicon

Команда Splash выпустила локальный движок инференса, оптимизированный для работы на чипах Apple Silicon. Инструмент ориентирован на запуск моделей семейства Qwen и обеспечивает прирост производительности в 2 раза по сравнению со стандартными методами выполнения.

Высокая скорость работы достигается за счет использования техники спекулятивного декодирования. Движок позволяет развернуть локальный сервер, который принимает запросы через API, совместимые со стандартами OpenAI и Anthropic. По умолчанию сервис работает на порту 8000, что упрощает интеграцию с существующими клиентскими приложениями и библиотеками.

В ходе внутренних тестов производительности система продемонстрировала результат в 10 баллов при выполнении задач за 5 часов непрерывной нагрузки. Программное обеспечение разработано специально для архитектуры Apple Silicon, максимально используя возможности нейронных ядер и объединенной памяти процессоров Apple.

Решение позволяет разработчикам запускать современные LLM локально без необходимости обращения к облачным API, сохраняя при этом привычный интерфейс взаимодействия. Использование Qwen в связке с оптимизированным движком снижает задержки при генерации текста, что критично для интерактивных AI-инструментов и локальных агентов.