John Carmack: un enorme anello in fibra ottica come cache L2 per AI, sfida alla DRAM

L’ipotesi di utilizzare una lunga fibra ottica monomodale come memoria circolare per alimentare i modelli AI può sembrare provocatoria, ma tocca un nodo reale dell’hardware contemporaneo: il disallineamento crescente tra capacità di calcolo e disponibilità di banda e memoria. La proposta arriva niente meno che da John Carmack, programmatore e ingegnere informatico celebre per aver co-fondato id Software e per aver sviluppato motori grafici rivoluzionari per videogiochi come Doom e Quake. Carmack parla di una larghezza di banda pari a 256 Terabit per secondo su 200 km di fibra single-mode.

Tradotto in termini fisici, significa che all’interno della fibra sono “in volo” circa 32 GB di dati in ogni istante. Non memorizzati nel senso tradizionale, ma fisicamente presenti nel mezzo come fotoni modulati. Se il flusso è chiuso in un anello, si ottiene una optical delay-line memory.

Memoria su fibra ottica: l’idea di John Carmack

La proposta può essere compresa alla luce delle tecnologie di memoria antesignane della DRAM. Nei computer degli anni ’40 e ’50, sistemi come le delay-line memories impiegavano tubi di mercurio o linee di ritardo per memorizzare i dati sotto forma di impulsi acustici o elettrici in un mezzo fisico. Ogni impulso rappresentava un bit e la memoria funzionava in modo sequenziale: per accedere a un dato, bisognava aspettare che il dato “circolasse” attraverso il treno di impulsi.

La fibra ottica potrebbe fungere da contraltare moderno di quei sistemi, sostituendo il mezzo fisico con impulsi di luce e sfruttando la capacità intrinseca della fibra di mantenere un segnale coerente su lunghe distanze.

In un anello di fibra ottica di 200 km, un impulso luminoso può percorrere la lunghezza del cavo in pochi millisecondi, generando un buffer di dati in movimento.

Da qui l’idea di Carmack: trasmettere i dati necessari per le attività di addestramento e inferenza delle reti neurali su un sistema sprovvisto di DRAM, avvalendosi di un'”inedita” cache L2 composta da un anello in fibra ottica.

Sfide pratiche e limiti tecnologici

Nonostante la potenziale efficienza energetica di una memoria basata su segnali luminosi rispetto alla DRAM, ci sono numerosi ostacoli tecnici. Il segnale ottico, passando attraverso centinaia di chilometri di fibra, subisce attenuazioni che richiedono amplificazione ottica e elaborazione digitale del segnale (DSP) per mantenere l’integrità dei dati. Tali componenti non sono privi di costi energetici e complessità, riducendo parte del vantaggio atteso rispetto alla memoria elettronica convenzionale. Inoltre, la conversione tra dominio ottico ed elettrico introduce latenza e richiede transceiver ad alta velocità per sostenere la larghezza di banda di cui parla Carmack.

Un altro limite riguarda il costo e la gestione fisica di tonnellate di fibra ottica all’interno di un data center: installare diverse centinaia di chilometri di fibra in forma di anello richiede spazio, massima organizzazione in termini di cablaggio e soluzioni di raffreddamento e gestione che non sono comparabili con le attuali configurazioni.

Perfino il cablaggio interno dei server AI, che già incorpora tecnologie ad alta velocità come PCIe 5.0 o Compute Express Link (CXL) per interfacce di memoria estesa, è progettato pensando a segnali elettrici ad altissima frequenza su brevi distanze, non a linee continue di fibra.

Alternative e sviluppo a breve termine

Nel suo intervento, Carmack ha anche suggerito percorsi più realistici verso una maggiore efficienza di memoria per i carichi AI. Una direzione consiste nell’aggregare molteplici chip di memoria flash ad alte prestazioni e collegarli direttamente agli acceleratori AI, con interfacce ad alta velocità che riducano la latenza di accesso rispetto agli Storage Area Network o ai tradizionali SSD NVMe.

Soluzioni di ricerca come FlashNeuron, FlashGNN e sistemi di memoria aumentata mostrano come la memoria non volatile possa essere sfruttata, con opportuni meccanismi di prefetching e pipelining, per alleggerire la pressione sulla DRAM.

Questi approcci non eliminano la necessità di una memoria veloce e a bassa latenza come DRAM o HBM (High Bandwidth Memory), ma possono distribuire il carico di lavoro attraverso gerarchie di memoria più profonde, sfruttando tecnologie di caching avanzate e prefetching predittivo. Implementazioni hardware che integrano controller di memoria intelligenti possono orchestrare l’accesso a grandi dataset di pesi AI riducendo l’impatto dei colli di bottiglia sul versante della memoria.

L’idea di utilizzare la fibra ottica come memoria cache L2 per l’AI affianca concetti storici e spinge all’esplorazione di nuove soluzioni tecniche. Anche se, onestamente, la realizzazione pratica di un anello di fibra ottica come alternativa alla DRAM ci pare un’opzione remota, l’intervento di Carmack stimola lo studio di soluzioni nuove in grado di soddisfare le esigenze esponenziali dei carichi di lavoro legati all’AI.