GitHub Copilot ima upitnu kvalitetu koda

Nova istraživanja pokazala su da GitHubov Copilot ne pokazuje baš najbolje rezultate, blago rečeno. Naime, taj alat temeljen na umjetnoj inteligenciji, koji služi kao asistent u razvoju softvera nije toliko dobar kao što se možda mislilo.

Doznala je to kompanija GitClear, koja je istraživala kvalitetu i održivost kodova koje podržava AI u usporedbi s onima koji bi bili napisani ljudskom rukom. Za potrebe istraživanja prikupljeno je i analizirao 153 milijuna promijenjenih linija koda, napisanih između siječnja 2020. i prosinca 2023.

"Nalazimo uznemirujuće trendove za održivost. "Churn" kod - postotak linija koje su poništene ili ažurirane manje od dva tjedna nakon što su napisane - će se udvostručiti u 2024. u usporedbi s 2021. Dalje, otkrivamo da se postotak "dodanog koda" i "kopiranog/zalijepljenog koda" povećava u omjeru prema "ažuriranom", "izbrisanom" i "premještenom" kodu. U tom pogledu, AI-generirani kod sliči na usputnog prolaznika, a ne nekoga tko doprinosi projektu", stoji u izvještaju.

To služi kao protuteža nalazima nekih drugih studija, uključujući jednu GitHubovu iz 2022. koja je pronašla, između ostalog da su programeri koji su koristili GitHub Copilot završili zadatak 55 posto brže od onih koji nisu koristili GitHub Copilot. U praksi, to i nije tako.

"Naša empirijska analiza pokazuje da je GitHub Copilot obećavajući alat na temelju rezultata koje smo dobili, međutim, potrebna su daljnje i sveobuhvatnije procjene u budućnosti", navode u GitClearu.

Također, iako su mišljenja programera podijeljena, većina njih ima uglavnom pozitivan stav prema GitHub Copilotu, ali malo ga je sudionika bilo voljno koristiti u punom smislu zbog brige koje izazivaju sigurnosna pitanja povezana s korištenjem.