NVIDIA lancia Nemotron 3.5 Lightning, modello ad alta velocità per agenti AI

NVIDIA ha appena reso disponibile Nemotron 3.5 Lightning, un modello open-weight da 30 miliardi di parametri progettato specificamente per gli agenti AI che devono eseguire migliaia di operazioni ripetitive senza ricorrere a ogni passo a un modello frontier costoso.

Il modello attiva solo 3 miliardi di parametri per token grazie a un’architettura Mixture of Experts (MoE), consentendo velocità fino a quattro volte superiori rispetto ad altri modelli della stessa classe e una riduzione del 30% nei tempi di completamento di alcuni task agentici.

Nemotron 3.5 Lightning: architettura e prestazioni

Nemotron 3.5 Lightning è un modello MoE con 30B parametri totali e 3B attivi per token, ottimizzato per task ripetitivi come revisione codice, uso di strumenti, monitoraggio security e gestione di richieste amministrative.

Supporta una finestra di contesto fino a 1 milione di token, include il giapponese ed è disponibile in due varianti: BF16 per personalizzazione e NVFP4 per inferenza veloce, eseguibile su un singolo DGX Spark o GPU H100. Le versioni quantizzate sono già utilizzabili tramite Ollama e LM Studio, mentre i pesi sono pubblicati su Hugging Face, ModelScope, OpenRouter e build.nvidia.com sotto licenza OpenMDW-1.1.

Accanto al modello, NVIDIA ha open-sourced NeMo Switchyard, una libreria SDK indipendente dal fornitore che decide dinamicamente quale modello assegnare a ogni fase di un lavoro agentico. Il router può essere stateless o conservare stato tra i turni, supporta API compatibili con OpenAI, Anthropic e Responses API, e registra metriche come modello selezionato, motivazione, token, latenza ed esito. Switchyard offre tre modalità principali: un LLM-judge per classificare la richiesta, uno Stage Router che adatta il modello in base alla fase dell’agente, e un Escalation Router che parte da un modello economico e scala solo in caso di errori persistenti.

Benchmark e risparmi reali

In un benchmark LangChain su 145 task multi-turno, l’Escalation Router tra Nemotron 3.5 Lightning e Claude Opus 4.8 ha ridotto i costi del 74% con solo il 7% delle chiamate al modello frontier, a fronte di un calo di circa 6 punti in accuratezza.

Cognition ha applicato Switchyard a Devin Desktop, ottenendo il 50,6% su FrontierCode Main con un costo medio di 3,11 dollari, ovvero il 28% in meno rispetto all’uso esclusivo di Opus 5. Altri partner come Ramp riportano il 58% di costi in meno e il 33% di runtime più veloce in produzione.

Limiti e considerazioni pratiche

Il routing non elimina i problemi degli agenti, ma li sposta sull’infrastruttura: un router che sbaglia frequentemente può annullare i vantaggi economici.

La qualità della decisione dipende dai segnali disponibili (difficoltà stimata, errori, chiamate strumenti, latenza, prezzi, carico) e dalla granularità con cui si decide (per richiesta intera o per singola fase). Nemotron 3.5 Lightning e NeMo Switchyard rappresentano quindi due pezzi di una stessa strategia: un modello veloce per task ripetitivi e un meccanismo aperto per decidere quando usarlo e quando affidarsi a un modello più potente.