Manticore Search внедрила автоматический чанкинг для векторного поиска

Команда Manticore Search добавила встроенную поддержку автоматического разбиения документов на части при выполнении векторного поиска. Новая функциональность активируется через параметр chunk_strategy и позволяет обрабатывать длинные тексты, которые ранее могли терять релевантность при преобразовании в эмбеддинги целиком.

Разработчикам доступны пять стратегий сегментации данных: fixed, sentence, paragraph, word и none. Метод fixed позволяет задавать точный размер чанка в символах, тогда как sentence и paragraph используют логические границы текста для формирования фрагментов. Это позволяет системе индексировать более мелкие и семантически точные блоки информации.

Использование чанкинга напрямую внутри поискового движка повышает показатель recall (полноту поиска) для объемных документов. Теперь пользователям не требуется предварительно обрабатывать данные на стороне приложения: Manticore Search берет на себя нарезку текста и последующее векторное представление каждого фрагмента в рамках одного запроса.

Обновление направлено на упрощение архитектуры RAG-систем (Retrieval-Augmented Generation). Интеграция логики разбиения в базу данных снижает нагрузку на клиентский код и обеспечивает единообразие обработки документов при индексации и выполнении поисковых операций.