Исследователи представили бенчмарк BioPhys-Bridge для проверки научных рассуждений

Группа исследователей выпустила BioPhys-Bridge — специализированный набор данных для оценки способности языковых моделей к междисциплинарным научным рассуждениям. Бенчмарк сфокусирован на задачах, требующих привязки данных к источникам, интерпретации физических моделей и анализа биологических механизмов.

Первый релиз включает 500 кейсов и 1517 задач для AI-агентов, охватывающих шесть биологических доменов и девять семейств физических моделей. Каждый кейс содержит блоки доказательств, количественные значения, единицы измерения, уравнения и допущения. Для 81 случая проведена экспертная разметка, а все данные распространяются по лицензии CC BY 4.0.

Предварительное тестирование показало, что модель DeepSeek-V4-Flash лидирует по показателю F1-score для идентификации доказательств, набрав 0.360. За ней следуют Qwen3.7-Max с результатом 0.316 и GPT-4o-mini с 0.294. Оценка проводилась с использованием строгих фильтров качества, включая проверку целостности данных и нормализацию единиц измерения.

Инструмент предназначен для борьбы с галлюцинациями и улучшения точности ответов в сложных научных сценариях. В будущем авторы планируют расширить объем датасета и добавить новые физические модели для более глубокого тестирования способности нейросетей к многошаговому логическому выводу в биофизических исследованиях.