ИИ не справился с офисной работой

Microsoft решила проверить, насколько ИИ способен заменить сотрудников. Для этого они создали специальный бенчмарк с 52 типичными офисными профессиями, чтобы оценить профессиональную пригодность нейронок.

ИИ-моделям нужно было отработать полный рабочий день, внося правки в один и тот же файл 20 раз, как это делает настоящий сотрудник. В ходе теста выяснилось, что даже такие модели, как Gemini 3.1 Pro, Claude 4.6 Opus и GPT-5.4, к концу задания потеряли в среднем 25% информации из дока. А общая статистика по всем протестированным нейронкам показала потерю данных в 50%.

Лучшей из всех стала Gemini 3.1 Pro, но и она показала удовлетворительные результаты только в 11 из 52 профессий.

Выдыхаем, работаем дальше 🥰