Исследователи представили бенчмарк для рекомендации концептов SNOMED CT

Группа исследователей опубликовала бенчмарк для рекомендации концептов SNOMED CT, основанный на задаче связывания сущностей в клинических текстах. Работа использует данные из набора MIMIC-IV-Note, включающего 272 выписных эпикриза, для автоматизации стандартизации медицинской терминологии.

Датасет содержит 75 491 аннотацию, разделенную на 204 обучающих и 68 тестовых заметок. В ходе эксперимента целевые упоминания маскировались из контекста, после чего система ранжировала доступные концепты. Авторы сравнили несколько подходов, включая TF-IDF, латентно-семантический анализ и гибридные методы с использованием поиска по базе данных.

Лучший результат показал метод sparse TF-IDF, достигший показателя Recall@1 на уровне 14,81% и Recall@10 в 33,43%. При этом метрика MRR составила 0,2114, а nDCG@10 — 0,2297. Использование дополненного поиска (retrieval-augmented) не привело к улучшению базовых показателей, показав Recall@10 на уровне 31,99%.

Исследование выявило критическую зависимость точности от частоты упоминания концептов в обучающей выборке. Для терминов, встречающихся более 10 раз, показатель Recall@10 достигает 43,90%, тогда как для редких концептов (1–2 упоминания) он падает до 7,74%. Около 9,66% тестовых пар содержат концепты, отсутствовавшие в процессе обучения.

Полученные данные подчеркивают значимость локального лексического контекста для работы с медицинскими онтологиями в условиях ограниченных ресурсов. Результаты работы доступны под лицензией CC BY-SA 4.0 и служат воспроизводимым стандартом для будущих разработок в области биомедицинских энкодеров.