Исследователи представили метод Cache-to-Cache для прямой передачи данных между LLM

Группа исследователей представила Cache-to-Cache (C2C) — новый метод прямой семантической коммуникации между большими языковыми моделями. Технология позволяет передавать информацию напрямую через объединение KV-кэшей, минуя стадию генерации и последующего парсинга текстовых токенов.

В основе метода лежит использование специализированной нейронной сети, которая выполняет слияние состояний кэша между моделями. Согласно результатам тестирования, такой подход обеспечивает прирост точности ответов на 6.4–14.2% по сравнению с традиционным обменом данными в текстовом формате. Кроме того, архитектура позволяет достичь 2.5-кратного ускорения процесса передачи контекста между агентами.

Прямая работа с KV-кэшем исключает накладные расходы на токенизацию и детокенизацию, которые неизбежны при стандартном API-взаимодействии. Метод ориентирован на сценарии, где несколько моделей должны обмениваться сложными внутренними представлениями данных без потери семантической целостности. Подробные технические спецификации и результаты бенчмарков опубликованы в научной работе.

Разработка открывает путь к созданию более эффективных мультиагентных систем, где LLM могут взаимодействовать на уровне «сырых» векторов активации. Это позволяет снизить задержки в распределенных AI-системах, где критически важна скорость обмена контекстом между узлами обработки информации.