Исследователи представили бенчмарк WearableQA для оценки анализа данных со смарт-часов

Исследовательская группа представила WearableQA — специализированный бенчмарк для проверки способности больших языковых моделей интерпретировать данные с фитнес-трекеров. В ходе тестирования 14 популярных моделей анализировались их навыки работы с показателями пульса, качества сна и физической активности за полугодовой период.

Результаты показали системный разрыв в возможностях ИИ: модели демонстрируют низкую точность при выполнении базовых вычислительных задач, таких как поиск трендов или фиксация аномалий в числовых рядах. В частности, GPT-4o успешно справлялась с расчетами лишь в 25% случаев. При этом те же модели показывают вдвое более высокие результаты при клинической интерпретации данных, формулируя выводы о рисках для здоровья.

Авторы исследования отмечают, что текущая архитектура LLM лучше адаптирована к семантическому анализу, чем к точной обработке временных рядов. Это создает риски при использовании ИИ в качестве персонального медицинского ассистента, так как модель может делать верные выводы на основе неверно интерпретированных или неверно вычисленных исходных данных.

Бенчмарк WearableQA позволяет разработчикам оценить устойчивость моделей к ошибкам при работе с персональной телеметрией. Полученные данные указывают на необходимость внедрения специализированных инструментов для предварительной обработки числовых показателей перед их передачей в языковую модель.