Perché OpenAI Jalapeño è il chip AI che mette pressione a NVIDIA e CUDA

OpenAI ha iniziato a costruire in casa una parte dell’hardware necessario per far funzionare i suoi modelli AI. Il primo risultato concreto si chiama Jalapeño: un ASIC (circuito integrato per un’applicazione specifica) sviluppato con Broadcom e progettato specificamente per l’inferenza degli LLM (Large Language Models), quindi per la fase in cui modelli come quelli usati da ChatGPT elaborano i prompt e producono risposte. Dopo mesi di indiscrezioni, adesso ci sono finalmente specifiche, dettagli architetturali e benchmark sufficienti per capire quanto sia serio il progetto.

Jalapeño nasce da un programma avviato nel 2024 e già maturato a fine 2025, con tempi insolitamente rapidi per un chip di questa complessità. OpenAI non punta a sostituire subito le GPU NVIDIA in ogni attività: il primo ASIC partorito dall’azienda di Sam Altman si concentra, come abbiamo detto, sull’inferenza, dove consumi, banda di memoria e latenza incidono direttamente sul costo di ogni risposta generata.

Nei test sin qui pubblicati, con GPT-OSS, DeepSeek R1 e Kimi K2.5, il chip mostra un rapporto tra prestazioni e consumi migliore rispetto a diverse configurazioni NVIDIA Blackwell, con vantaggi particolarmente marcati nei carichi a bassa latenza. Ora, è bene muoversi con la dovuta cautela perché NVIDIA sta già passando alla generazione Vera Rubin ma il dato di fondo resta notevole: un ASIC OpenAI di prima generazione riesce già a confrontarsi con gli acceleratori AI più evoluti sul mercato.

Non è un chip costruito soltanto per i modelli OpenAI

Jalapeño è spesso descritto come un ASIC fortemente specializzato per ChatGPT. È una lettura riduttiva: OpenAI lo presenta come acceleratore generalista.

SemiAnalysis ha potuto eseguire InferenceX insieme agli ingegneri OpenAI nei laboratori della società: non parliamo quindi soltanto di numeri scelti dal produttore, anche se restano limiti importanti. Non è stata infatti eseguita l’intera suite e mancano ancora prove più rappresentative di carichi agentici con conversazioni lunghe, cache e più turni consecutivi.

Su GPT-OSS 120B, Jalapeño raggiunge circa 85.448 token misti al secondo per kW contro 44.960 del sistema NVIDIA GB200 usato come riferimento: quasi 1,9 volte il throughput per watt.

Anche la latenza è sensibilmente più bassa. Sullo stesso modello, il tempo tra token scende fino a circa 0,69 millisecondi, equivalente a oltre 1.400 token al secondo per utente.

Nei moderni data center AI il limite non è soltanto il prezzo degli acceleratori: sempre più spesso è la potenza elettrica disponibile. Se un impianto dispone di 100 MW, ottenere più token dallo stesso budget energetico significa servire più richieste senza aumentare immediatamente l’infrastruttura elettrica e di raffreddamento.

Il vero confronto è con NVIDIA Rubin

Il rivale tecnologicamente più vicino è però, a questo punto, Vera Rubin, ovvero la nuova generazione NVIDIA che utilizza anch’essa memoria HBM4.

Jalapeño resta molto competitivo anche rispetto ai primi risultati Rubin sul throughput per MW. Il confronto, però, non è perfettamente omogeneo: alcuni benchmark NVIDIA impiegano Multi Token Prediction e speculative decoding, mentre Jalapeño ha ottenuto molti dei risultati pubblicati usando Single Token Prediction.

La tecnica speculative decoding permette a un modello più piccolo di proporre in anticipo diversi token, che il modello principale verifica successivamente. Quando funziona bene riduce il costo per token. OpenAI potrebbe quindi avere ulteriore margine, ma la riprova arriverà probabilmente nei mesi a venire.

Uno dei punti di forza di Jalapeño è la memoria. Secondo i dati riportati da SemiAnalysis, il package integra circa 216 GB di HBM4 con una banda complessiva di 15,4 TB/s.

Per l’inferenza LLM è un parametro cruciale: durante la generazione dei token il processore deve leggere continuamente pesi e KV cache; la velocità con cui riesce a spostare questi dati può diventare più importante del numero teorico di FLOPS.

Codex aiuta a programmare lo stesso chip che lo eseguirà

La parte più interessante del progetto riguarda forse il rapporto tra hardware e software: OpenAI ha utilizzato i propri modelli AI anche durante lo sviluppo di Jalapeño, sia per ottimizzare alcuni blocchi hardware sia per scrivere kernel a basso livello.

Il linguaggio utilizzato si chiama Gluon e offre un accesso molto vicino all’hardware permettendo di controllare layout dei tensori, registri e movimenti dei dati.

OpenAI usa inoltre versioni interne di Codex per generare e ottimizzare kernel che possono raggiungere migliaia di righe. Secondo i dati forniti dall’azienda, alcune implementazioni prodotte con l’aiuto dell’AI hanno superato da 1,5 a 1,8 volte precedenti versioni scritte manualmente su specifici workload.

La società sviluppatrice di ChatGPT e dei modelli GPT sta insomma usando l’AI non soltanto sopra il chip, ma anche per ridurre il costo necessario a programmarlo. È un dettaglio che sarà di grande impatto in futuro perché uno dei principali vantaggi NVIDIA resta proprio la maturità di CUDA e delle relative librerie.

Jalapeño può davvero indebolire il vantaggio di CUDA?

Dire che CUDA è “morta” sarebbe improvvido: NVIDIA dispone di anni di software, strumenti, librerie e competenze accumulate. Jalapeño mostra però che una grande azienda AI può seguire una strada diversa rispetto a quella storicamente battuta dalla società di Jensen Huang.

OpenAI non deve creare un ambiente di sviluppo universale destinato a milioni di programmatori: può progettare il suo hardware, controllare i modelli che dovranno girarci sopra e usare agenti AI per generare il codice più efficiente per ogni workload, in modo molto veloce.

Se l’AI riduce drasticamente il tempo necessario per scrivere compilatori e kernel ottimizzati, uno dei maggiori ostacoli alla costruzione di acceleratori proprietari diventa gestibile.

Allo stesso tempo, però, Jalapeño non vuole certo rappresentare un addio alle GPU NVIDIA: OpenAI continuerà a utilizzare acceleratori esterni, soprattutto per il training, mentre il proprio ASIC si concentra sull’inferenza.

La produzione dovrebbe aumentare progressivamente nel 2027: prima bisogna dimostrare affidabilità, stabilità del software e capacità di gestire migliaia di chip all’interno di grandi installazioni. Non c’è quindi da incoronare alcun vincitore: Jalapeño suggerisce come potrebbe cambiare la progettazione dei prossimi acceleratori AI: hardware costruito insieme al software, memoria pensata per ridurre i colli di bottiglia e modelli AI utilizzati direttamente per scrivere il codice che sfrutta il chip.