Текст на русском языке:

Сразу после того как Хантер Лайтман присоединился к команде исследователей в OpenAI в 2022 году, он наблюдал за запуском коллегами одного из самых быстрорастущих продуктов — ChatGPT. В то же время, Лайтман усердно работал в составе команды над обучением моделей OpenAI решению задач с конкурсов по математике для старшеклассников.

Сегодня эта команда под названием MathGen считается критически важной составляющей лидирующих усилий OpenAI по созданию моделей искусственного интеллекта (ИИ), способных к логическому мышлению: основной технологии, которая лежит в основе агентов ИИ, выполняющих задачи на компьютере подобно тому, как это делает человек. Хотя эти модели и далеки от совершенства — недавние системы AI компании всё ещё склонны делать ошибки, а её агенты испытывают трудности с комплексными заданиями, — они значительно продвинулись в области математического анализа и даже завоевали золотую медаль на Международной олимпиаде по математике для самых талантливых школьников из разных стран мира, что считается настоящим достижением. OpenAI верит, что такие возможности логического мышления могут быть перенесены на другие предметы, позволяя создать универсальные агенты ИИ, о которых компания мечтала все эти годы.

ChatGPT стал неожиданным успехом — исследовательский проект перерос в вирусный потребительский сервис — однако агенты AI от OpenAI стали результатом многолетнего целенаправленного труда внутри компании. “В конечном итоге вы просто попросите компьютер сделать то, что вам нужно, и он выполнит задачи за вас,” — отметил генеральный директор OpenAI Сэм Альтман на первой конференции разработчиков компании в 2023 году, подчеркнув масштаб возможностей искусственного интеллекта.

Хотя выполнение видения Альтмана ещё предстоит проверить временем, OpenAI ошеломило мир выпуском первой модели AI для рассуждений — о1 — осенью 2024 года. Менее чем через год после этого, ведущие исследователи проекта стали самыми востребованными специалистами в Силиконовой долине. Марк Цукерберг привлек пятерых учёных из команды о1 для работы в новом подразделении Meta по суперинтеллекту, предложив им значительные компенсации — суммы превышали $100 млн. Один из них, Шэнцзя Чжао, был недавно назначен главным научным сотрудником подразделения Superintelligence Labs в Meta.

Развитие моделей и агентов ИИ OpenAI тесно связано с техникой обучения машин, известной как усиленное обучение (RL). RL предоставляет обратную связь модели AI о правильности её решений через смоделированные окружения. Этот метод используется уже десятки лет. Например, в 2016 году система AI под названием AlphaGo от Google DeepMind завоевала мировую известность после победы над чемпионом мира по игре Го благодаря использованию технологии RL.

Около того же времени один из первых сотрудников OpenAI, Андрей Карпаты, размышлял о том, как использовать RL для создания агента ИИ, способного работать с компьютером. Но потребовались годы напряжённых усилий внутри OpenAI, чтобы довести эту идею до реализации и создать высокоэффективные модели для логического рассуждения.