NVIDIA cambia il modo in cui gli acceleratori usano la memoria HBM

NVIDIA ha presentato NVHBM, una variante personalizzata della memoria HBM progettata per gli acceleratori AI sviluppati attraverso NVLink Fusion.

L’annuncio arriva mentre la crescita dei modelli di Intelligenza Artificiale aumenta la pressione su banda, consumi e superficie dei chip. La soluzione integra il memory controller direttamente nel base die dello stack HBM, invece di collocarlo sul die dell’acceleratore. Secondo NVIDIA, il risultato può arrivare al 30% di banda in più, al 15% di consumo HBM in meno e al 25% di area aggiuntiva disponibile sul die di calcolo rispetto a HBM4E. Sono dati dichiarati dal produttore e vanno quindi distinti dalle prestazioni misurate su prodotti commerciali. La disponibilità, inoltre, resta legata alla piattaforma NVLink Fusion.

Come funziona NVHBM e perché riduce l’area

La modifica principale riguarda la distribuzione della logica. Nelle implementazioni HBM tradizionali il controller risiede sul die dell’XPU, occupando superficie che potrebbe essere destinata a unità di calcolo, cache, SRAM o altre funzioni specializzate.

NVHBM sposta il controller nel base die dello stack 3D e utilizza una PHY personalizzata, riducendo la quantità di connessioni necessarie sul die principale. NVIDIA indica una riduzione fino al 67% dell’area occupata da PHY e logica di supporto rispetto allo standard JEDEC HBM4E. La stessa azienda stima fino all’80% di spazio utilizzabile in più nel layout dell’interposer. Sono valori architetturali, non un incremento automatico delle prestazioni: il beneficio dipende da come il progettista sfrutta lo spazio recuperato.

L’aumento della banda dichiarato arriva fino al 30% per stack rispetto a HBM4E. Il vantaggio può risultare particolarmente rilevante nei carichi memory-bound, dove l’acceleratore deve alimentare rapidamente le unità di calcolo con pesi, attivazioni e dati della KV cache.

Chi potrà utilizzare davvero la nuova memoria

Il punto più importante riguarda l’accesso alla tecnologia. NVHBM non viene presentata come una memoria standard liberamente adottabile da qualsiasi progettista. NVIDIA la inserisce nella piattaforma NVLink Fusion, che fornisce ai produttori di acceleratori custom una base prevalidata per collegare le proprie XPU alla tecnologia NVLink e alle architetture rack-scale dell’azienda. Il primo partner indicato per NVHBM è Annapurna Labs di Amazon. Il 31 agosto NVIDIA ha inoltre annunciato che MediaTek adotterà NVLink Fusion per offrire ai propri clienti una base di progettazione per XPU personalizzate; la piattaforma comprende anche NVHBM.

La disponibilità attraverso più produttori di memoria dovrebbe ridurre parte del lavoro necessario per integrazione e qualificazione, ma non elimina i vincoli industriali legati a HBM, packaging avanzato e produzione del base die. Per questo il valore commerciale della tecnologia dipenderà anche dalla capacità di NVIDIA e dei partner di portarla dalla validazione alla produzione in volume. Al momento, quindi, NVHBM appare soprattutto come una componente dell’offerta per acceleratori custom collegati a NVLink Fusion, non come un’alternativa universale alle specifiche HBM4E. La differenza sarà verificabile quando arriveranno sistemi commerciali e benchmark indipendenti capaci di misurare banda, efficienza e vantaggi reali sul carico completo.