NVIDIA PAIR trasforma i PC inutilizzati in una rete per l'AI locale

NVIDIA ha presentato Personal AI Router (PAIR), un software open source pensato per distribuire le richieste di Intelligenza Artificiale tra più computer collegati alla stessa rete locale.

L’obiettivo è utilizzare la potenza di calcolo che spesso rimane inutilizzata su PC, notebook e workstation, senza spostare i dati verso un servizio cloud. PAIR è disponibile in beta per Windows, Linux e macOS e supporta schede GeForce RTX dalla serie 20 in poi, GPU RTX Pro, DGX Spark e Mac con chip Apple M4 o successivi.

Il software si integra con strumenti per l’inferenza locale come Ollama e LM Studio e può assegnare richieste a macchine diverse in base alle risorse disponibili. La soluzione non unisce però la memoria delle GPU: ogni richiesta deve poter essere elaborata da un singolo nodo.

Come funziona NVIDIA Personal AI Router

PAIR opera come un router di inferenza davanti ai software compatibili. Quando un agente AI genera più richieste indipendenti, il sistema può distribuirle tra diversi computer presenti sulla rete, sfruttando il parallelismo invece di concentrare tutto il lavoro sulla macchina principale.

NVIDIA ha mostrato un test con cinque sottoagenti nel quale una configurazione composta da tre dispositivi tramite PAIR ha completato l’attività in 8 minuti e 48 secondi, contro i 18 minuti necessari a un singolo DGX Spark. Il risultato dipende naturalmente dal tipo di carico, dalla potenza delle macchine e dalla velocità della rete.

La scoperta automatica dei dispositivi utilizza mDNS, mentre PAIR mantiene informazioni sullo stato dei nodi, sull’engine disponibile, sui modelli presenti e sull’utilizzo della GPU. Una macchina può quindi diventare temporaneamente indisponibile senza richiedere una riconfigurazione completa. Se, per esempio, il computer principale sta eseguendo un videogioco, il router può indirizzare le nuove richieste verso un altro sistema libero. Il meccanismo non realizza però una GPU virtuale composta da più schede: la quantità di memoria disponibile per una singola richiesta resta quella del nodo che la elabora.

Il modello è particolarmente interessante per gli agenti AI che suddividono un’attività in numerosi compiti più piccoli. Un PC da gioco, un notebook e una workstation possono contribuire contemporaneamente all’elaborazione, a condizione che dispongano del modello necessario e di risorse sufficienti. PAIR non richiede inoltre di riscrivere gli agenti per una nuova interfaccia: NVIDIA lo ha progettato per lavorare con le API già utilizzate da Ollama e LM Studio. La disponibilità di più nodi aumenta quindi la capacità complessiva di elaborare richieste parallele, ma non permette di eseguire automaticamente un modello troppo grande per la memoria di una singola GPU.

Sicurezza e limiti del calcolo distribuito

La sicurezza assume un ruolo centrale perché PAIR mette in comunicazione più computer sulla stessa rete. L’associazione iniziale dei dispositivi utilizza un codice a sei cifre, mentre i collegamenti tra i nodi sfruttano mTLS, cioè Mutual Transport Layer Security.

Il limite tecnico più importante riguarda il tipo di parallelismo. PAIR può distribuire richieste indipendenti, ma non somma la VRAM di più GPU per consentire a un singolo modello di superare la capacità del nodo. Il vantaggio sarà quindi maggiore con agenti capaci di generare molti compiti contemporaneamente. La proposta di NVIDIA punta soprattutto a trasformare risorse già disponibili in capacità di calcolo aggiuntiva: computer che restano inattivi per buona parte della giornata possono contribuire all’inferenza locale, riducendo la necessità di ricorrere a infrastrutture cloud quando il carico può essere suddiviso efficacemente.