Apple обновила MLX для распределенного запуска моделей на Mac Studio

Компания Apple представила обновление своего фреймворка MLX, которое позволяет запускать крупные языковые модели на кластерах из компьютеров Mac Studio. Новая архитектура использует протокол RDMA для обеспечения высокоскоростного взаимодействия между узлами, что критически важно для работы с тяжелыми весами моделей.

В ходе внутренних тестов инженеры Apple продемонстрировали работу модели Muse Spark Open с 816 миллиардами параметров на кластере из четырех Mac Studio. Система показала производительность на уровне 36+ токенов в секунду. Использование аппаратного ускорения на чипах нового поколения также продемонстрировало значительный прирост эффективности: M5 Ultra обеспечивает генерацию текста в 1.6 раза быстрее, а время до получения первого токена сократилось в 4.6 раза по сравнению с предыдущим поколением M3 Ultra.

Технология ориентирована на разработчиков, которым требуется локальное выполнение инференса моделей экстремально большого размера без обращения к облачным серверам. Использование RDMA позволяет минимизировать задержки при передаче данных между устройствами, объединяя вычислительные мощности нескольких рабочих станций в единый контур.

Данное обновление расширяет возможности экосистемы Apple для задач машинного обучения, позволяя масштабировать локальные вычисления до уровня, ранее доступного только специализированным серверным фермам. Инструментарий уже доступен для исследователей и разработчиков, работающих с библиотекой MLX.