SanDisk-ova nova Flash memorija visoke propusnosti omogućava 4TB VRAM-a na GPU-ovima

SanDisk je predstavio novu high-bandwidth flash (HBF) memoriju koja bi mogla spojiti kapacitet 3D NAND-a s ekstremnom propusnošću i omogućiti high bandwidth memory (HBM).

Time kompanija nudi rješenje za AI inferencijske aplikacije koje zahtijevaju visoku propusnost i kapacitet uz nisku potrošnju energije. Prva generacija HBF-a može omogućiti do 4TB VRAM kapaciteta na GPU-u, a buduće verzije će nuditi još više. SanDisk također predviđa primjenu ove tehnologije u mobilnim telefonima i drugim vrstama uređaja. Međutim, datum lansiranja još nije objavljen.

Konceptualno, HBF je sličan HBM-u. Složen je od višestrukih kapacitetnih i visokoučinkovitih flash jezgri povezanih kroz through-silicon vias (TSV) i smještenih na logičkom sloju koji omogućuje paralelni pristup flash nizovima. Temeljna arhitektura HBF-a koristi SanDiskov BICS 3D NAND s CMOS-om izravno spojenim na memorijski niz (CBA), pri čemu je 3D NAND memorijski niz postavljen na I/O čip izrađen logičkim procesom. Upravo ta logika mogla bi biti ključ za ostvarenje HBF-a.

Tradicionalni NAND dizajn memorijskih čipova organizira memorijski niz u ravnine, stranice i blokove. Blok je najmanja jedinica koja se može izbrisati, a stranica najmanja jedinica koja se može zapisati. HBF, čini se, razbija strukturu u mnoge, mnoge nizove koji se mogu istovremeno koristiti.

SanDisk navodi da će prva generacija HBF-a koristiti 16 HBF jezgri. Kako bi omogućio takve uređaje, SanDisk je razvio vlasničku tehnologiju slaganja koja minimizira iskrivljenje čipova te omogućuje slaganje 16 HBF jezgri, kao i logički čip koji može istovremeno pristupati podacima iz više HBF jezgri. Kompleksnost logike koja može upravljati stotinama ili tisućama istovremenih podatkovnih tokova daleko nadmašuje tipične SSD kontrolere.

Nažalost, SanDisk nije objavio konkretne performanse HBF proizvoda, tako da možemo samo nagađati odgovara li HBF performansama originalnog HBM-a (~128 GB/s po sloju) ili novog HBM3E-a, koji u slučaju Nvidijine B200 kartice osigurava 1 TB/s po sloju.

Jedino što znamo iz SanDiskovog primjera jest da osam HBF slojeva sadrži 4 TB NAND memorije, što znači da svaki sloj ima kapacitet od 512 GB. Sloj od 16-Hi 512 GB HBF-a znači da je svaka HBF jezgra 256 Gb 3D NAND uređaj s naprednom logikom koja omogućuje paralelizam na razini jezgre. Preusmjeravanje stotina gigabajta podataka u sekundi iz 16 3D NAND IC-a velik je izazov, a ostaje za vidjeti kako će SanDisk to postići.

Sigurno je da HBF nikada neće imati jednako malu latenciju po bitu kao DRAM, zbog čega SanDisk naglašava da su HBF proizvodi namijenjeni aplikacijama koje zahtijevaju veliku propusnost i kapacitet, ali ne i ultra-nisku latenciju, poput velikih AI inferencijskih skupova podataka. Za mnoge AI inferencijske zadatke ključno je postići visoku propusnost po prihvatljivoj cijeni, a ne latenciju kakvu nudi HBM ili DRAM.

Stoga, HBF neće uskoro zamijeniti HBM, ali bi mogao zauzeti mjesto na tržištu koje traži NAND-ovsku cijenu uz visoku propusnost i veliki kapacitet, ali ne i ekstremno nisku latenciju. Kako bi pojednostavio tranziciju s HBM-a, HBF koristi isti električni priključak uz neke promjene u protokolu, iako nije potpuno kompatibilan s HBM-om.