Hugging Face обновила библиотеку Sentence Transformers для мультивекторных моделей

Команда Hugging Face представила обновленный инструментарий для обучения и дообучения мультивекторных моделей в рамках библиотеки Sentence Transformers. Обновление позволяет разработчикам создавать энкодеры, которые генерируют несколько векторов для одного входного текста, что повышает точность поиска в сложных семантических задачах.

Новый функционал поддерживает архитектуры, использующие ColBERT и аналогичные подходы для глубокого сопоставления токенов. Внедрена поддержка обучения с использованием Contrastive Loss и Multiple Negatives Ranking Loss, адаптированных под мультивекторный вывод. Разработчики могут использовать встроенные методы для эффективного сжатия векторов, что снижает потребление памяти при индексации больших массивов данных.

Инструментарий включает готовые скрипты для настройки гиперпараметров, позволяющие сократить время обучения на 25-30% при работе с крупными наборами данных. Поддерживается интеграция с Hugging Face Hub для версионирования весов моделей и автоматической загрузки конфигураций. Библиотека теперь корректно обрабатывает длинные контексты, разбивая их на сегменты для параллельной обработки.

Переход на мультивекторные представления позволяет системам поиска учитывать не только общий смысл документа, но и специфические детали, которые теряются при использовании стандартных эмбеддингов. Это обновление упрощает внедрение продвинутых методов ранжирования в поисковые системы и RAG-приложения, обеспечивая совместимость с существующими пайплайнами обработки данных.