NYU представила Neuro-JEPA для анализа МРТ-снимков мозга

Исследователи из NYU Langone Health выпустили Neuro-JEPA — специализированную 3D-модель на архитектуре Vision Transformer, предназначенную для обработки данных нейровизуализации. Модель прошла предварительное обучение на массиве из 1,55 миллиона МРТ-сканов головного мозга.

Архитектура модели ориентирована на мультимодальный анализ медицинских изображений. В ходе тестирования система продемонстрировала высокую точность, показав превосходные результаты в 47 различных задачах анализа данных, включая классификацию патологий и сегментацию структур мозга.

Разработка использует принципы самообучения для извлечения признаков из трехмерных медицинских данных, что позволяет модели эффективно работать с анатомическими структурами без необходимости в разметке каждого отдельного снимка. Веса модели и документация доступны для исследователей в открытом доступе на платформе Hugging Face.

Внедрение подобных моделей сокращает время на подготовку диагностических инструментов, автоматизируя первичную обработку больших объемов клинических данных. Использование 3D-трансформеров в нейровизуализации позволяет учитывать пространственные связи между отделами мозга, которые часто упускаются при анализе 2D-срезов.