Исследование выявило низкую точность AI-чат-ботов в финансовых вопросах

Издание Financial Times провело масштабное исследование, показавшее, что популярные AI-чат-боты предоставляют неверные ответы на финансовые запросы в большинстве случаев. Анализ затронул способность моделей интерпретировать рыночные данные и давать корректные рекомендации пользователям.

В ходе тестирования эксперты задавали нейросетям вопросы, касающиеся анализа отчетности компаний и прогнозирования финансовых показателей. Результаты показали, что модели часто допускают фактические ошибки, путают цифры в балансовых отчетах и предоставляют неактуальные данные, которые могут привести к убыткам при принятии инвестиционных решений.

Подобные инциденты подчеркивают критическую проблему «галлюцинаций» в специализированных доменах. Несмотря на высокую скорость генерации текста, текущие архитектуры LLM не обладают встроенными механизмами верификации финансовых данных, что делает их использование в качестве советников по управлению капиталом крайне рискованным.

Обсуждение результатов исследования активно ведется в сообществе Hacker News, где пользователи указывают на отсутствие у моделей доступа к верифицированным базам данных в реальном времени. Специалисты отмечают, что без интеграции с надежными API финансовых рынков, использование чат-ботов для анализа активов остается небезопасным.

Данное исследование ставит под сомнение текущие стандарты безопасности при внедрении AI в банковский сектор и финтех-сервисы. Разработчикам предстоит решить задачу обеспечения точности ответов, прежде чем подобные инструменты смогут претендовать на роль полноценных финансовых консультантов.