AMD compra Taalas: perché mettere i pesi AI nel chip può cambiare tutto

AMD vuole affrontare uno dei problemi più costosi dell’intelligenza artificiale con un’idea che, a prima vista, sembra quasi andare contro mezzo secolo di informatica general purpose: costruire il chip intorno a uno specifico modello AI e incorporarne i pesi direttamente nel silicio. È la tecnologia sviluppata da Taalas, startup canadese con cui AMD ha firmato il 6 agosto 2026 un accordo definitivo di acquisizione. I termini economici non sono stati comunicati e l’operazione deve ancora superare le consuete autorizzazioni regolamentari.

La scelta arriva mentre l’attenzione del settore si sposta progressivamente dall’addestramento all’inferenza AI, cioè all’esecuzione dei modelli già addestrati. Spostare continuamente miliardi di parametri dalla memoria alle unità matematiche consuma energia, richiede banda e aumenta il costo di ogni token. GPU con HBM sempre più veloce, acceleratori con grandi quantità di SRAM e architetture specializzate hanno provato ad attenuare il problema. Taalas tenta invece una strada molto più radicale: eliminare, almeno per una parte essenziale del modello, lo spostamento dei pesi.

Fondata a Toronto nel 2023 da un gruppo di ingegneri con esperienze in AMD, Tenstorrent e altre aziende del settore, Taalas aveva raccolto oltre 200 milioni di dollari prima di presentare pubblicamente la propria tecnologia a febbraio 2026. Con un team di appena alcune decine di persone e circa 30 milioni di dollari spesi in ricerca e sviluppo, la società ha realizzato HC1, un acceleratore dimostrativo che esegue Llama 3.1 8B arrivando, secondo i test interni, vicino a 17.000 token al secondo per utente.

AMD non compra semplicemente un altro acceleratore AI

Pur rinnovando la sfida alla concorrente NVIDIA, la comunicazione ufficiale di AMD mostra prudenza. L’azienda parla di una tecnologia, quella di Taalas, capace di ridurre i colli di bottiglia legati a calcolo e memoria, sostenendo di volerla integrare nella propria roadmap degli acceleratori, creando soluzioni che lavorino insieme alle GPU AMD Instinct. La parte interessante sta proprio nell’ultima frase: Taalas non sembra destinata a sostituire Instinct.

In pratica AMD potrebbe disporre di due tipi di hardware molto diversi: le GPU conserverebbero la flessibilità necessaria per addestramento, fine-tuning, elaborazione del prompt e modelli che cambiano frequentemente; gli acceleratori derivati da Taalas potrebbero occuparsi delle porzioni dell’inferenza nelle quali contano soprattutto latenza, velocità di generazione e costo per token.

Un’impostazione del genere diventerebbe particolarmente interessante nei sistemi rack-scale AMD Helios. Il progetto combina GPU Instinct MI455X, CPU EPYC “Venice”, networking Pensando e ROCm all’interno di rack progettati per infrastrutture AI di grandissime dimensioni.

AMD ha già annunciato accordi che prevedono installazioni Helios presso Meta, Microsoft e Anthropic; parliamo quindi di una base hardware sulla quale una futura integrazione della tecnologia Taalas avrebbe dimensioni ben diverse da quelle di una normale scheda PCIe.

Come funziona l’idea di Taalas

Una GPU tradizionale conserva i pesi del modello in memoria. Durante l’inferenza deve recuperarli e portarli alle unità di calcolo che eseguono principalmente moltiplicazioni tra matrici. Nei grandi modelli il problema non consiste soltanto nel numero di operazioni disponibili: spesso è la quantità di dati da spostare a determinare la velocità effettiva.

Le moderne GPU per datacenter utilizzano per questo motivo HBM, memoria ad altissima banda collocata vicino ai chip di calcolo attraverso tecniche di packaging avanzate. È una soluzione potentissima, ma costosa e complessa. Acceleratori come quelli sviluppati da Groq o Cerebras adottano approcci differenti, facendo largo uso di SRAM molto veloce per ridurre la distanza tra dati e unità matematiche.

Taalas prova a eliminare il problema alla radice. La sua architettura Hard Coded Inference contiene una zona chiamata mask-ROM recall fabric, nella quale i pesi del modello assumono una rappresentazione fisica nel chip. Non bisogna immaginare una gigantesca memoria flash programmata dopo la produzione: la configurazione dipende dal layout realizzato in fabbrica.

Accanto alla parte rigida esiste una SRAM recall fabric: serve per informazioni che devono restare modificabili durante l’esecuzione. Il punto è che memoria e calcolo non seguono più la separazione tipica delle architetture convenzionali.

Perché togliere i pesi dalla memoria può cambiare l’inferenza

Per capire perché l’approccio di Taalas sia così particolare bisogna chiarire prima cosa sono i pesi di un modello AI. Un LLM (Large Language Model) contiene miliardi di valori numerici appresi durante l’addestramento: sono coefficienti che stabiliscono quanto ogni informazione debba influenzare le successive operazioni matematiche.

In termini molto semplificati, rappresentano ciò che il modello ha “imparato”: Llama 3.1 8B, per esempio, contiene circa 8 miliardi di parametri e una parte enorme di essi è costituita proprio da questi pesi.

Quando il modello genera testo, tali valori non restano inutilizzati in memoria. Durante la generazione autoregressiva, cioè quando ogni nuovo token viene calcolato sulla base di quelli precedenti, il processore deve accedere ripetutamente a una quantità enorme di pesi e usarli nelle moltiplicazioni tra matrici che costituiscono gran parte del lavoro di un transformer. Il problema, quindi, non è soltanto eseguire abbastanza operazioni matematiche: bisogna anche portare i dati alle unità di calcolo con sufficiente rapidità.

Qui entra in gioco la banda di memoria. Una GPU può disporre di una potenza teorica enorme in termini di FLOPS, ma durante la fase di decode rischia comunque di trascorrere parte del tempo aspettando che i parametri arrivino dalla memoria. È uno dei motivi per cui gli acceleratori AI di fascia alta utilizzano HBM, capace di trasferire quantità di dati molto superiori rispetto alla normale memoria DDR.

Portare i pesi dentro il circuito, come propone Taalas, cambia radicalmente il problema: invece di recuperarli continuamente da una memoria separata, l’hardware li rende parte della propria configurazione fisica. Diminuisce così drasticamente il movimento dei dati tra memoria e unità matematiche, uno dei principali responsabili di consumi, latenza e complessità negli acceleratori moderni.

L’acquisizione mostra dove si sta spostando la battaglia dell’AI

L’accordo con Taalas non dimostra ancora che AMD abbia trovato un sostituto delle GPU, né che i modelli hard-coded, quindi integrati nell’hardware, diventeranno la soluzione dominante. Anzi: la rigidità dell’approccio garantisce che GPU e altri acceleratori programmabili resteranno fondamentali.

Dopo anni durante i quali la competizione si è concentrata soprattutto sulla quantità di FLOPS e sulla capacità HBM, il costo del movimento dei dati e la velocità della generazione stanno diventando fattori altrettanto importanti. Groq, Cerebras e Taalas affrontano il problema in modi differenti, ma partono dalla stessa constatazione: per ottenere inferenza estremamente veloce non basta continuare ad aumentare la potenza di calcolo generale.

AMD sembra voler combinare le due filosofie anziché sceglierne una. Instinct resta il motore programmabile, ROCm fornisce lo strato software, Helios organizza il sistema a livello di rack e Taalas aggiunge una possibile scorciatoia hardware per modelli destinati a funzionare per miliardi di richieste.