Il modello AI Mercury 2.5 oltre ogni limite: genera fino a 1.107 token al secondo

Inception ha presentato Mercury 2.5, un modello linguistico che adotta un’architettura basata sulla diffusione anziché sulla tradizionale generazione autoregressiva.

L’azienda dichiara una velocità fino a 1.107 token al secondo su GPU NVIDIA, una finestra di contesto da 260.000 token e prezzi standard di 0,20 dollari per milione di token in input e 0,75 dollari in output.

La nuova versione arriva dopo Mercury 2 e punta soprattutto a ridurre la latenza nelle applicazioni che richiedono molte risposte del modello. La tecnologia merita attenzione perché modifica il modo in cui il testo viene prodotto: invece di calcolare ogni token esclusivamente dopo quello precedente, il modello può elaborare più posizioni contemporaneamente e raffinarle attraverso successive iterazioni.

Come funziona la generazione a diffusione di Mercury 2.5

I modelli linguistici tradizionali utilizzano una decodifica autoregressiva: ogni token generato contribuisce alla previsione del successivo, creando una sequenza di operazioni fortemente dipendenti l’una dall’altra. Mercury segue un approccio differente. Il modello parte da una rappresentazione incompleta o rumorosa della sequenza e la modifica progressivamente, correggendo più posizioni nello stesso passaggio. La tecnica deriva concettualmente dai modelli di diffusione utilizzati nella generazione di immagini, ma nel testo deve gestire token discreti e relazioni semantiche molto più vincolanti.

La generazione parallela può ridurre in modo sensibile il numero di passaggi necessari per ottenere una risposta lunga. Non significa però che tutti i token siano sempre indipendenti: il modello deve preservare coerenza sintattica, significato e relazioni tra le parti della sequenza. La ricerca sui diffusion language model ha quindi esplorato tecniche di decoding adattivo, criteri di confidenza e strategie per decidere quali posizioni aggiornare a ogni iterazione. Il vantaggio reale dipende anche dall’hardware, dalla lunghezza dell’output e dalla configurazione utilizzata per l’inferenza.

Inception dichiara per Mercury 2.5 un incremento del 40% nella qualità rispetto a Mercury 2, oltre al passaggio da 128.000 a 260.000 token di contesto. Il dato sulla velocità, pari a 1.107 token al secondo, va invece distinto dalla latenza percepita dall’utente: il throughput misura quanti token possono essere prodotti nell’unità di tempo, mentre il time to first token considera quanto occorre prima che inizi la risposta. Per applicazioni vocali e interattive entrambe le metriche possono incidere sull’esperienza finale.

Perché Mercury 2.5 punta su agenti e applicazioni rapide

Le caratteristiche dichiarate da Inception rendono Mercury 2.5 particolarmente interessante per applicazioni che effettuano numerose chiamate al modello.

Un agente software può dover interpretare una richiesta, selezionare strumenti, analizzare risultati e produrre una risposta finale. Ridurre il tempo di ciascuna operazione può abbassare la latenza complessiva, soprattutto quando diverse attività possono essere eseguite in parallelo. Il modello supporta inoltre reasoning regolabile, chiamate parallele agli strumenti e output JSON vincolato a uno schema.

Un caso indicato dall’azienda riguarda Augment Code, che utilizza Mercury per attività come compressione del contesto e selezione degli strumenti MCP. Inception riferisce una riduzione del tempo di elaborazione da circa 150 a 27 secondi in una specifica configurazione, insieme a una diminuzione dichiarata dei costi. Si tratta di risultati riferiti dal produttore e non di benchmark indipendenti; per confrontare correttamente modelli diversi servono infatti condizioni hardware, prompt e metriche equivalenti.