Hugging Face представила метод обучения моделей рисованию через код

Команда Hugging Face опубликовала методику обучения языковых моделей генерации изображений акварелью с помощью программного кода. Процесс базируется на использовании библиотеки TRL (Transformer Reinforcement Learning) и среды OpenEnv, позволяющей агентам взаимодействовать с графическими движками.

В основе подхода лежит преобразование команд рисования в последовательности токенов, которые модель генерирует для управления виртуальной кистью. Система использует PPO (Proximal Policy Optimization) для дообучения модели на основе наград, где целевой функцией выступает визуальное соответствие сгенерированного изображения заданному референсу. В ходе экспериментов модель обучалась на наборе данных, содержащем 5000 уникальных мазков и цветовых палитр.

Техническая реализация включает интеграцию OpenEnv для симуляции холста, что позволяет модели получать обратную связь в реальном времени. Использование TRL обеспечивает стабильность процесса обучения при работе с дискретными действиями, такими как выбор координат, давления кисти и прозрачности пигмента. Обучение проводилось на кластере с использованием 8 GPU NVIDIA A100, что позволило достичь сходимости алгоритма за 12 часов.

Данный метод демонстрирует возможность управления визуальным контентом через текстовые модели без использования диффузионных процессов. Разработчики отмечают, что такой подход позволяет создавать интерпретируемые изображения, где каждый элемент является результатом выполнения конкретной программной инструкции. Инструментарий доступен для интеграции в существующие пайплайны обучения агентов с подкреплением.