Как в OpenAI тестируют новые модели на сложных задачах

Глава Codex Эндрю Амброзино рассказал об уникальном методе проверки новых нейросетей внутри компании. При выходе свежей модели ей поручают масштабную практическую задачу — полностью переписать десктопное приложение Codex на языке Rust и фреймворке GPUI.

Цель эксперимента заключается не в создании демонстрационного прототипа, а в разработке полноценного нативного продукта, способного стабильно функционировать на различных платформах. Главная сложность заключается в высокой скорости изменения самого продукта командой, из-за чего ИИ приходится работать в условиях постоянно меняющейся кодовой базы.

В перспективе OpenAI планирует добиться того, чтобы одна достаточно мощная модель могла автономно поддерживать сразу несколько версий: для Mac на AppKit, для Windows на WinUI 3, а также отдельный вариант на Rust.

Хотя разработчики признают, что пока технология не достигла этого уровня, текущие результаты показывают значительное приближение к поставленной цели.