Sustavi umjetne inteligencije uskoro će moći nadmašiti i iskusne programere

Sustavi umjetne inteligencije trenutno ne mogu nadmašiti ljude za dugotrajne zadatke ili projekte, ali se brzo poboljšavaju i mogli bi smanjiti taj jaz ranije nego što se očekivalo, prema analizi vodećih modela.

Neprofitna organizacija METR iz Berkeleyja u Kaliforniji, stvorila je gotovo 170 zadataka iz stvarnog svijeta u kodiranju, kibernetičkoj sigurnosti, općem zaključivanju i strojnom učenju, a zatim je uspostavila "ljudsku osnovu" mjereći koliko je vremena trebalo iskusnim programerima da ih dovrše.

Rezultati pokazuju da je GPT-2, rani veliki jezični model (LLM) koji je OpenAI objavio 2019., zakazao na svim zadacima koji su ljudskim stručnjacima trajali više od jedne minute. Claude 3.7 Sonnet, koji je u veljači objavio američki start-up Anthropic, dovršio je 50 posto zadataka za koje bi ljudima trebalo 59 minuta.

Općenito, vremenski period 13 vodećih UI modela otprilike se udvostručio svakih sedam mjeseci od 2019., navodi se u radu. Eksponencijalni rast vremenskih horizonata UI-ja ubrzao se 2024., a najnoviji modeli udvostručuju horizont otprilike svaka tri mjeseca.

Prema stopi napretka od 2019. do 2024., METR sugerira da će UI modeli moći obavljati zadatke za koje ljudima treba oko mjesec dana s 50 posto pouzdanosti do 2029., a možda i ranije. Rad napominje da je mjesec dana posvećene ljudske stručnosti dovoljno za pokretanje nove tvrtke ili znanstvena otkrića.

Međutim, Joshua Gans, profesor menadžmenta na Sveučilištu u Torontu u Kanadi, koji je pisao o ekonomiji AI-ja, kaže da takve prognoze nisu toliko korisne.

"Ekstrapolacije su primamljive, ali još uvijek ne znamo dovoljno o tome kako će se UI zapravo koristiti da bi bile smislene."

Tim je odabrao stopu uspješnosti od 50 posto jer je bila najotpornija na male promjene u raspodjeli podataka. Povećanje praga pouzdanosti s 50 posto na 80 posto smanjilo je prosječni vremenski rok za faktor pet - iako su ukupno vrijeme udvostručavanja i trend linija bili slični.

Iz METR-a priznaju da njihov pristup ne obuhvaća svu složenost stvarnog rada, ali kažu da je pronađen sličan eksponencijalni trend u rastu vremenskog horizonta prilikom provjere koliko zadaci nalikuju stvarnom radu.

Autori kažu da postoje neki čimbenici koji bi mogli utjecati na njihovu prognozu kada će se postići vremenski horizont od mjesec dana. Računalna snaga značajno se povećala u proteklih pet godina, ali fizički i ekonomski čimbenici ograničit će buduća povećanja razmjera, što će vjerojatno ometati napredak AI-ja.

Ali, to će se djelomično nadoknaditi kontinuiranim algoritmima poboljšanja.