Perché Intel Optane sarebbe stata perfetta per la cache dei modelli AI

La tecnologia Intel Optane è uscita di scena proprio mentre l’intelligenza artificiale iniziava a generare uno dei problemi che proprio quella soluzione avrebbe potuto affrontare meglio: conservare enormi quantità di dati temporanei con latenze contenute, senza consumare la costosa memoria delle GPU e senza logorare rapidamente le flash NAND delle unità SSD. Presentata nel 2015 da Intel e Micron con il nome 3D XPoint, la memoria prometteva di colmare il gap tra DRAM e storage flash. I primi prodotti commerciali arrivarono nel 2017; Intel ne interruppe lo sviluppo nel 2022, contabilizzando una svalutazione delle scorte pari a 559 milioni di dollari.

All’epoca Optane sembrava una soluzione brillante, seppur difficile da collocare. Costava più della NAND, offriva capacità inferiori rispetto agli SSD tradizionali e restava sensibilmente più lenta della DRAM.

Oggi, con l’inferenza AI che spinge verso server dotati di decine di terabyte di memoria e con il prezzo della RAM diventato una voce pesante nei sistemi accelerati, quelle caratteristiche assumono un significato diverso. Quel prodotto a firma Intel che non riuscì a trovare una domanda sufficiente nei database e nei sistemi enterprise avrebbe potuto diventare un livello intermedio ideale per le cache dei modelli linguistici (LLM).

Perché Optane era diversa dagli SSD NAND

Le celle NAND conservano l’informazione intrappolando cariche elettriche e richiedono operazioni di programmazione e cancellazione organizzate in pagine e blocchi. Ogni cancellazione deteriora progressivamente il materiale isolante: da qui nasce il limite dei cicli di scrittura, mitigato dai controller attraverso wear leveling, over-provisioning, garbage collection e codici di correzione degli errori. Tant’è vero che, sfatando alcuni falsi miti molto diffusi, abbiamo di recente voluto raccontare cosa conta davvero per far durare di più un’unità SSD.

3D XPoint seguiva un principio differente: il nome richiamava la struttura a punti di incrocio. Una cella si trovava all’intersezione tra due conduttori perpendicolari: tale organizzazione eliminava il transistor dedicato a ogni cella e permetteva una densità superiore a quella della DRAM.

TechInsights stimò per la prima generazione una densità di circa 0,62 Gbit/mm², contro valori superiori a 6 Gbit/mm² per alcune NAND TLC a 128 strati e oltre 12 Gbit/mm² per la QLC Intel a 144 strati. Il fatto è che le memorie flash continuavano ad aggiungere livelli verticali e a ridurre il costo per bit molto più rapidamente.

Optane compensava con una prevedibilità molto interessanti: le unità SSD NAND possono mostrare latenze molto diverse in base alla coda delle richieste, alla quantità di spazio libero, alle attività del controller e allo stato della cache SLC. Gli SSD Optane mantenevano tempi di risposta bassi anche durante carichi misti e scritture casuali prolungate, cioè proprio quando molti SSD flash iniziano a perdere prestazioni.

Il P5800X mostrava cosa poteva fare 3D XPoint

Uno degli ultimi prodotti di fascia alta, l’Intel Optane SSD DC P5800X, utilizzava PCIe 4.0 x4 e protocollo NVMe. Il modello da 1,6 TB raggiungeva, secondo le specifiche Intel, 7.200 MB/s in lettura sequenziale, 6.200 MB/s in scrittura e fino a 1,5 milioni di IOPS sia in lettura che in scrittura casuale su blocchi da 4 KB.

I numeri più interessanti riguardavano però la durata. Intel dichiarava 100 DWPD per 5 anni: significa poter riscrivere ogni giorno cento volte l’intera capacità nominale dell’unità per tutto il periodo di garanzia.

Un P5800X da 1,6 TB poteva quindi sostenere, almeno secondo il valore certificato, circa 160 TB di scritture al giorno. A confronto, molti SSD enterprise NAND si collocano tra 1 e 3 DWPD; i modelli progettati per carichi intensivi possono salire, ma raramente raggiungono valori simili.

Intel indicava inoltre un MTBF (Mean Time Between Failure) di 2 milioni di ore, protezione dei dati end-to-end, cifratura AES a 256 bit e protezione contro la perdita improvvisa di alimentazione. Sono dati di targa, non una promessa che ogni unità operi per secoli senza guasti; servono però a capire per quali ambienti unità Optane del genere fosse stata progettato. Database transazionali, journal, metadata store, cache e sistemi di logging scrivono continuamente piccoli blocchi: un terreno particolarmente favorevole per Optane.

La KV cache dell’AI avrebbe potuto cambiare la storia

Durante l’inferenza di un modello Transformer, ogni livello calcola vettori chiamati key e value per i token elaborati. Conservare questi risultati nella cosiddetta KV cache evita di ricalcolare l’intera sequenza a ogni nuovo token generato. Senza cache, una conversazione lunga costringerebbe il modello a ripetere continuamente operazioni già svolte, aumentando latenza e consumo energetico.

La quantità di memoria richiesta cresce con il numero di layer, la lunghezza della sequenza, il numero di richieste simultanee, il formato numerico e l’architettura dell’attenzione.

Optane avrebbe offerto una combinazione quasi ideale: persistenza, bassa latenza, ottime prestazioni sugli accessi casuali e resistenza alle scritture estremamente elevata. Certo, non avrebbe sostituito la memoria HBM durante la generazione dei token; sarebbe stata troppo lenta. Avrebbe però potuto conservare le cache di sessioni inattive per minuti o ore, alleggerendo la DRAM e permettendo una ripresa più rapida rispetto al recupero da un SSD NAND convenzionale.

Parlare di soluzione all’odierna scarsità di RAM sarebbe eccessivo. Optane non poteva sostituire HBM sulle GPU né DDR5 nei carichi sensibili alla latenza: la banda, il costo e il supporto software avrebbero continuato a limitarne l’impiego. Avrebbe però ridotto la pressione sui livelli più costosi, soprattutto nelle infrastrutture in cui molte sessioni AI restano inattive ma devono poter essere recuperate rapidamente.