Perplexity e NVIDIA lanciano Portable Computer, agente AI locale senza costi a token

Perplexity ha portato il proprio agente AI fuori dal cloud con Portable Computer, un’applicazione sviluppata insieme a NVIDIA che esegue localmente modelli, orchestrazione, strumenti e gestione dei file. Il nuovo strumento punta a un problema che sta diventando sempre più rilevante con la crescita degli agenti: un sistema capace di lavorare per ore consuma molti più token di una normale chat e può trattare documenti, codice e dati che l’utente non vuole trasferire a server remoti.

Portable Computer prova a risolvere entrambe le questioni eseguendo il lavoro direttamente sulla macchina dell’utente e ricorrendo al cloud soltanto quando serve.

Hardware, modelli e compromessi economici

Portable Computer non è semplicemente un’interfaccia per eseguire un modello locale.

Perplexity ha trasferito sul dispositivo l’intera struttura necessaria a far funzionare Computer: modello locale, orchestratore, planner, router degli strumenti, scheduler, coda persistente dei task e indice per la ricerca locale. Anche l’esecuzione di codice e strumenti avviene in ambienti sandbox isolati.

L’obiettivo è eliminare buona parte del lavoro normalmente richiesto per assemblare uno stack di AI locale. La differenza rispetto a un chatbot locale tradizionale è sostanziale. Un modello installato con un runtime come llama.cpp o Ollama può generare testo sul PC, ma non dispone automaticamente di un sistema capace di coordinare file, applicazioni, ricerche, strumenti e operazioni multi-step. Portable Computer tratta invece il modello come una componente di un agente più ampio: il codice dell’orchestratore mantiene il ciclo di esecuzione, prepara il contesto e applica le regole, mentre il modello propone le azioni successive.

Il dispositivo di riferimento al lancio è NVIDIA DGX Spark, un computer AI compatto costruito sulla piattaforma Grace Blackwell GB10. Il sistema integra una CPU Arm a 20 core e una GPU NVIDIA con 128 GB di memoria unificata, caratteristica che permette di mantenere in memoria modelli relativamente grandi senza la tradizionale separazione tra RAM di sistema e memoria video.

Perplexity indica un’installazione con configurazione in un clic direttamente dall’applicazione. La collaborazione con NVIDIA non riguarda soltanto la certificazione dell’hardware. Portable Computer è stato ottimizzato per il funzionamento locale su DGX Spark, mentre NVIDIA sta preparando il supporto per GPU GeForce RTX e RTX PRO. L’azienda ha inoltre indicato Windows e DGX Station tra le piattaforme in arrivo. Al debutto, invece, il prodotto parte su Linux e con DGX Spark.

Per l’esecuzione locale il requisito indicato da Perplexity è una GPU NVIDIA RTX con almeno 24 GB di VRAM per ottenere un’esperienza adeguata; nella pratica la soglia colloca il prodotto in una fascia hardware decisamente più alta rispetto ai normali PC da ufficio. Il requisito ha però una logica tecnica precisa: un agente non deve soltanto generare token, ma deve mantenere il modello in memoria mentre gestisce contesto, strumenti e operazioni prolungate.

La base del progetto è Qwen 3.8 27B

Il modello principale disponibile al lancio è Qwen 3.8 27B, con 27 miliardi di parametri.

Perplexity ha inoltre realizzato PPLX 27B, una versione post-trained dello stesso modello, addestrata per funzionare meglio con il proprio agente locale. Il principio è importante: invece di utilizzare un modello generico e affidargli un harness progettato per modelli molto più grandi, Perplexity ha cercato di ottimizzare modello e orchestratore insieme.

La società sostiene che i modelli locali di queste dimensioni abbiano raggiunto un livello sufficiente per svolgere una parte consistente del lavoro quotidiano. Tra gli altri modelli indicati nella ricerca di Perplexity figurano NVIDIA Nemotron 3.5 Lightning, da 30 miliardi di parametri, e altri modelli compatti progettati per ottenere un rapporto favorevole tra qualità, memoria e velocità. Nemotron 3.5 Lightning è previsto anche nel selettore dei modelli di Portable Computer. Il vantaggio non dipende soltanto dal numero di parametri. Il modello locale deve riuscire a utilizzare correttamente gli strumenti messi a disposizione dall’agente. Perplexity ha quindi post-addestrato PPLX 27B con una combinazione di supervised learning e reinforcement learning, selezionando traiettorie di esecuzione utili e affinando il comportamento del modello rispetto ai task dell’harness.