Представлена модель DermLIP для анализа дерматологических изображений

Разработчики представили DermLIP_PanDerm-base-w-PubMed-256 — специализированную мультимодальную модель, предназначенную для решения задач в области дерматологии. Система построена на архитектуре CLIP и адаптирована для работы с медицинскими данными.

В основе обучения модели лежит набор данных Derm1M, включающий 403 000 пар «изображение-текст». Для обработки визуальной составляющей используется энкодер PanDerm-base, а для анализа текстовых описаний — специализированный энкодер PubMedBERT. Такое сочетание позволяет модели эффективно выполнять задачи классификации и поиска изображений в режиме zero-shot.

Инструмент ориентирован на автоматизацию анализа кожных заболеваний, позволяя сопоставлять клинические снимки с медицинскими описаниями. Модель доступна для использования через платформу Hugging Face, где представлены веса и конфигурация архитектуры для интеграции в исследовательские проекты.

Разработка направлена на повышение точности диагностики при работе с дерматологическими атласами. Использование специализированных энкодеров, обученных на корпусе PubMed, обеспечивает более глубокое понимание медицинской терминологии по сравнению с моделями общего назначения.