Разработчики представили dspy-typesafeify для оптимизации вывода моделей

Разработчики выпустили dspy-typesafeify — форк фреймворка DSPy, который внедряет строгую типизацию в процесс инференса. Инструмент добавляет декоратор @typesafeify, позволяющий делегировать обработку структурированных полей сервису Noul от компании Typesafe.

Использование данного решения обеспечивает прирост скорости выполнения на 15.9%. Помимо ускорения, интеграция позволяет снизить затраты на генерацию токенов на 30.1% за счет оптимизированной передачи данных между моделью и внешним сервисом типизации.

Проект сохраняет полную совместимость с оригинальным API dspy.Predict, что позволяет внедрять типизацию в существующие пайплайны без изменения логики работы с LLM. Разработчики позиционируют решение как proof-of-concept для повышения надежности вывода в задачах, требующих строгого соблюдения схем данных.

Инструмент ориентирован на разработчиков, использующих DSPy для построения сложных цепочек вызовов, где критически важна предсказуемость выходных форматов. Исходный код проекта доступен на GitHub под открытой лицензией для тестирования и интеграции в рабочие окружения.