Moderni GPU-ovi za AI i HPC aplikacije u podatkovnim centrima troše i disipiraju 700 W snage ili više.
Grafičke procesorske jedinice (GPU) u podatkovnim centrima mogu trajati samo jednu do tri godine, ovisno o stopi njihove iskorištenosti, navodi visokorangirani stručnjak iz Alphabeta, kojeg citira Tech Fund.
S obzirom da GPU-ovi obavljaju sav težak rad pri obuci i inferenciji umjetne inteligencije, oni su komponente pod velikim opterećenjem u svakom trenutku pa se zbog toga troše brže od ostalih dijelova infrastrukture.
Stope iskorištenosti GPU-ova za AI zadatke u podatkovnim centrima kojima upravljaju pružatelji usluga u cloudu (CSP) kreću se između 60 posto i 70 posto. Uz takve stope iskorištenosti, GPU obično traje između jedne i dvije godine, najviše tri.
Ta tvrdnja ima osnovu, budući da moderni GPU-ovi za AI i HPC aplikacije u podatkovnim centrima troše i disipiraju 700 W snage ili više, što predstavlja značajan stres za male komade silicija.
No, postoji način da se produži životni vijek GPU-a - smanjiti njihovu stopu iskorištenosti. Međutim, to znači da će se oni sporije amortizirati i sporije vraćati uloženi kapital, što nije osobito dobro za poslovanje, zbog čega će većina pružatelja usluga u cloudu radije koristiti svoje GPU-ove koliko god mogu.
Ranije ove godine, Meta je objavila studiju koja opisuje treniranje svog Llama 3 405B modela na klasteru pogonjenom s 16.384 Nvidia H100 80GB GPU-a. Stopa iskorištenosti flopa (MFU) klastera bila je oko 38 posto (koristeći BF16), a od 419 neplaniranih prekida tijekom 54-dnevnog pretreniranog snapshota, 148 (30,1%) uzrokovali su različiti kvarovi GPU-ova, uključujući kvarove NVLink-a, dok je 72 (17,2%) uzrokovao HBM3 memorijski flop.
Čini se da su rezultati Meta-e prilično povoljni za H100 GPU-ove. Ako GPU-ovi i njihova memorija nastave otkazivati po Metinoj stopi, tada će godišnja stopa kvarova ovih procesora biti oko devet posto, dok će godišnja stopa kvarova za ove GPU-ove u tri godine biti približno 27 posto, iako je vjerojatno da GPU-ovi češće otkazuju nakon godinu dana korištenja.
Predviđa se da će IT potrošnja u Europi u 2025. iznositi ukupno 1,28 trilijuna dolara, što je povećanje od 8,7 posto u odnosu na 2024., prema Gartneru. IT potrošnja u Europi je na putu da dosegne 1,18 trilijuna dolara do kraja 2024.
Google je najavio da njegov najnoviji kvantni čip Willow može obavljati računalne funkcije u djeliću vremena potrebnog tradicionalnom stroju. Pretraživački div je rekao da također donosi eksponencijalno smanjenje pogrešaka.
Umjetna inteligencija, nekad carstvo znanstvene fantastike, zauzela je svoje mjesto na vrhuncu znanstvenih dostignuća u Švedskoj. Na povijesnoj ceremoniji u Konserthusetu u Stockholmu, John Hopfield i Geoffrey Hinton primili su Nobelovu nagradu za fiziku za svoj pionirski rad na neuralnim mrežama.
