Mistral Large 4 показала низкую точность в соблюдении законов ЕС

Новое исследование модели Mistral Large 4 показало, что флагманская нейросеть из Европы по-прежнему не справляется с надежным соблюдением местного законодательства. В ходе тестов система правильно следовала нормам права ЕС лишь в 53% случаев.

По сравнению с предыдущими версиями показатель соответствия европейским законам вырос на 37 процентных пунктов, однако модель продолжает ошибаться или нарушать регламенты почти в половине тестовых сценариев. Одновременно с этим зафиксирован резкий рост отказов при запросах, связанных с защитой прав человека: показатель отказов подскочил с 11% до 72%.

Авторы исследования отмечают, что избыточная осторожность алгоритмов при обработке правовых тем делает автоматизацию юридических задач в регионе непредсказуемой. Проблема ставит под сомнение готовность передовых коммерческих систем к развертыванию в сферах, требующих строгого следования европейским нормативным актам.