Оптимизация EmbeddingGemma 2 через QR-разложение

Исследователи представили метод сжатия векторов модели EmbeddingGemma 2, позволяющий сократить размерность эмбеддингов с 768 до 512 координат. Для преобразования используется QR-разложение выходной проекции, что позволяет сохранить косинусное сходство при уменьшении объема данных.

Эксперименты проводились на системе с видеокартой RTX 5090, арендованной через GPUGO. Тестирование включало проверку качества поиска на наборах данных SciFact и FiQA, а также замеры производительности при работе с корпусом MS MARCO, содержащим до пяти миллионов документов. Использование метода QR-direct позволило снизить пиковое потребление памяти процесса с 15,88 ГиБ до 11,11 ГиБ.

Результаты показали улучшение времени отклика при поиске через FAISS. Задержка одного запроса сократилась с 36,19 мс до 34,80 мс, а при обработке батча из 32 элементов время выполнения уменьшилось с 50,62 мс до 44,97 мс. Авторы сравнили полученные показатели с результатами штатного MRL-уменьшения размерности.

Данный подход позволяет разработчикам снизить требования к видеопамяти при развертывании поисковых систем на локальном оборудовании, сохраняя при этом точность работы модели на крупных массивах данных.