Samsung представила память LPDDR5X-PIM с вычислительными блоками

Компания Samsung разработала технологию LPDDR5X-PIM, которая интегрирует вычислительные блоки непосредственно в банки оперативной памяти DRAM. Решение направлено на устранение «узкого места» фон-неймановской архитектуры, где производительность систем искусственного интеллекта часто ограничивается скоростью передачи данных между процессором и памятью.

Технология Processing-in-Memory (PIM) позволяет выполнять базовые арифметические операции прямо в чипах памяти. В архитектуре LPDDR5X-PIM вычислительные модули размещены внутри каждого банка DRAM, что минимизирует перемещение данных по шине. Это особенно эффективно для операций матричного умножения, которые составляют основу работы нейронных сетей.

При тестировании на модели Llama 3.1 8B технология продемонстрировала значительное снижение задержек при выполнении инференса. Перенос части вычислений в память позволяет сократить энергопотребление системы, так как передача данных между компонентами требует больше энергии, чем сами вычисления. Использование PIM позволяет достичь более высокой пропускной способности без необходимости радикального увеличения частоты шины памяти.

Интеграция вычислений в память открывает путь к созданию более компактных и энергоэффективных устройств для запуска локальных LLM. В отличие от традиционных решений, где процессор вынужден постоянно обращаться к внешним модулям памяти, LPDDR5X-PIM выполняет значительную часть нагрузки автономно, что критически важно для мобильных платформ и граничных вычислений.