Разработчики должны были стать одними из главных бенефициаров “шумихи” вокруг генеративного ИИ, поскольку специальные инструменты позволяют быстрее и проще создавать код. Но, согласно недавнему исследованию компании Uplevel, которая занимается анализом показателей кодинга, повышения производительности не наблюдается – по крайней мере, пока.
В исследовании приняли участие около 800 разработчиков, которые в течение трёх месяцев сравнивали свои результаты с помощью помощника по кодингу Copilot GitHub и без него. Удивительно, но при измерении таких ключевых показателей, как время цикла запросов и пропускная способность, Uplevel не обнаружила значительных улучшений у тех, кто использовал Copilot.
Matt Hoffman, аналитик данных в Uplevel, рассказал изданию CIO, что их команда изначально думала, что разработчики смогут писать больше кода, а количество ошибок может снизиться, поскольку разработчики используют инструменты ИИ для проверки кода перед отправкой. Но результаты исследования опровергли эти ожидания.
По данным CIO, в ходе исследования выяснилось, что разработчики, использующие Copilot, вносят в свой код на 41 % больше ошибок. Uplevel также не обнаружила доказательств того, что ИИ-ассистент помогает предотвратить “выгорание” разработчиков.
Эти сведения опровергают заявления создателей Copilot GitHub и других сторонников ИИ-инструментов для кодирования о значительном повышении производительности. Ранее спонсируемое GitHub исследование утверждало, что с помощью Copilot разработчики пишут код на 55 % быстрее.
Разработчики действительно могут видеть положительные результаты, учитывая, что в отчёте, составленном на заре существования Copilot, около 30 % нового кода было связано с ИИ, и эта цифра, скорее всего, выросла. Однако есть и другая причина роста использования – это зависимость и лень кодеров.
На практике опыт работы с помощниками по кодированию на основе ИИ пока неоднозначен. Генеральный директор компании Gehtsoft USA Ivan Gekht рассказал CIO, что в компании столкнулись с проблемой понимания и отладки кода, генерируемого искусственным интеллектом, поэтому иногда эффективнее просто переписать его с нуля.
Прошлогоднее исследование, в котором ChatGPT неправильно ответил на более чем половину вопросов по программированию, похоже, подтверждает его наблюдения, хотя с тех пор чат-бот значительно доработали благодаря многочисленным обновлениям.
Gekht добавил, что разработка программного обеспечения – это «на 90% работа мозга: понимание требований, проектирование системы, учёт ограничений и запретов», а преобразование всего этого в код – более простая часть работы.
Однако технический директор компании Innovative Solutions, предоставляющей облачные услуги, Travis Rehl сообщил о потрясающих результатах: производительность разработчиков выросла в три раза благодаря таким инструментам, как Claude Dev и Copilot.
Противоречивые данные свидетельствуют о том, что, вероятно, мы всё ещё находимся на ранней стадии развития помощников по кодингу на основе ИИ. Но, учитывая быстрое развитие инструментов, кто знает, на что они будут способны в будущем?
Материалы: Techspot.com (Zo Ahmed)
