Исследователи представили Context Language Models для работы с контекстом

Исследователи представили новый подход к архитектуре языковых моделей под названием Context Language Models, способных нативно управлять контекстом как отдельным файлом. Такой механизм позволяет эффективнее обрабатывать массивы данных без традиционных ограничений стандартного окна контекста.

В ходе бенчмарк-тестирования разработка продемонстрировала рост производительности на сложных задачах. Модель показала на 11.4% более высокую точность на платформе BrowseComp-Plus, а также превзошла существующие state-of-the-art решения на 5% в тестах EdgeBench.

Новый подход решает проблему деградации памяти при работе с длинными документами и кодовыми базами. Вместо линейного расширения токенов архитектура использует файловую структуру, что снижает нагрузку на вычислительные ресурсы.

Авторы опубликовали научную работу и детальное описание алгоритма на портале arXiv, открывая возможности для интеграции метода в будущие поколения коммерческих и открытых языковых моделей.