LLM: intelligenza artificiale e chatbot in locale con interfaccia grafica

I modelli generativi open source stanno democratizzando la possibilità di accedere al potenziale offerto dall’intelligenza artificiale anche con i “normali” dispositivi in possesso degli utenti, senza doversi più appoggiare al cloud e senza trasferire dati a soggetti terzi. I progetti incentrati sui migliori LLM ormai non si contano più e da qualche tempo è diventato possibile creare e utilizzare i propri chatbot, capaci di funzionare in ambito locale.

LLM: cosa sono e come funzionano

I Large Language Models (LLM) sono modelli di linguaggio addestrati su grandi quantità di dati testuali per apprendere e “comprendere” il linguaggio naturale. Questi modelli appartengono alla categoria più ampia di modelli di apprendimento automatico noti come “modelli di trasformazione”.

Per la fase di addestramento degli LLM, si utilizzano vasti dataset testuali provenienti da una varietà di fonti, come libri, articoli di notizie, pagine Web e molto altro ancora. L’obiettivo è far acquisire al modello una “consapevolezza” approfondita delle peculiarità e delle relazioni che caratterizzano ogni lingua. Successivamente, i modelli vengono raffinati utilizzando dataset più specifici e utili a gestire compiti particolari.

L’architettura di trasformazione e, in particolare, i Transformer, consentono al modello di elaborare sequenze di dati in modo bidirezionale. Il modello può cioè considerare il contesto delle parole in una frase, sia prima che dopo il termine specifico che sta analizzando. Ne deriva una migliore comprensione del significato che si basa comunque su un approccio probabilistico, non deterministico.

La dimensione degli LLM è spesso definita dal numero molto elevato di parametri appresi durante l’addestramento. I parametri si riferiscono ai pesi e ai bias appresi dal modello: essi ne determinano il comportamento ai dati ricevuti in input.

I pesi sono assegnati a ciascun collegamento tra i nodi di due strati consecutivi in una rete neurale. Ogni collegamento tra i nodi ha un peso associato che indica l’importanza della connessione. Durante l’addestramento, il modello cerca di ottimizzare i pesi per minimizzare l’errore tra le sue previsioni e i risultati attesi dall’utente. Il bias è un termine aggiunto all’output di ciascun nodo della rete neurale: consente di spostare l’output, influenzando il comportamento del modello.

Utilizzare in locale i migliori LLM, con un’interfaccia grafica

Tanti progetti open source permettono di realizzare il proprio ChatGPT in locale e sfruttare il codice per integrare l’intelligenza artificiale in una moltitudine di progetti, anche a livello professionale e aziendale.

LM Studio

LM Studio, scaricabile dal sito ufficiale, è uno strumento che offre la possibilità di accedere a tanti LLM ospitati su Hugging Face. Sono esplicitamente citati LLaMa, Falcon, MPT, StarCoder, Replit e GPT-Neo-X ma qualunque modello convertito in formato GGUF risulta utilizzabile con LM Studio.

Hugging Face è una piattaforma open source che mira a far progredire le soluzioni di intelligenza artificiale attraverso un approccio aperto. La piattaforma offre un’ampia gamma di modelli di intelligenza artificiale, dataset e applicazioni, consentendo alla comunità di collaborare e innovare.  Il formato GGUF è utilizzato per memorizzare modelli destinati all’inferenza, specialmente nel contesto di modelli linguistici come GPT (Generative Pre-trained Transformer).

LM Studio è già disponibile nelle versioni per Windows, macOS e Linux anche se il progetto è indicato come instabile e suscettibile di continue migliorie.

L’immagine, tuttavia, offre un’idea di ciò è possibile ottenere con LM Studio: da un’unica finestra si può scegliere il LLM preferito, modificarne le opzioni quindi avviare una sessione di chat senza appoggiarsi ad alcun servizio cloud.

Ollama Web UI

Per mettersi alle spalle la fredda finestra del terminale di Ollama, altrimenti detta CLI (command line interface), è possibile installare Ollama Web GUI. Si tratta di un componente software aggiuntivo che si posiziona al di sopra di Ollama e che permette di avviare conversazioni in linguaggio naturale con qualunque LLM supportato, ad esempio Mistral, LLama, Code LLama, Orca Mini e Vicuna.

Ollama Web UI rappresenta un passo avanti nell’interazione con modelli linguistici probabilistici, offrendo un’esperienza utente avanzata e versatile. L’interfaccia risponde alle esigenze degli utenti di dispositivi desktop e mobili, garantendo un’esperienza fluida sulle varie piattaforme.

L’installazione di Ollama Web UI è resa semplice grazie al setup intuitivo basato su Docker: vi è la possibilità di installare sia Ollama che Ollama Web UI con un singolo comando.

Una caratteristica distintiva è l’evidenziazione della sintassi, che migliora la leggibilità del codice generato dal modello. Il supporto Markdown e LaTeX consente agli utenti di arricchire le loro interazioni con la formattazione avanzata, aprendo nuove modalità di comunicazione.

Sul Web sono disponibili anche progetti basati sui soliti modelli che, tuttavia, permettono di interagire con personaggi famosi o immaginari: Faraday, koboldcpp e SillyTavern sono alcuni nomi interessanti.

Credit immagine in apertura: iStock.com/Vertigo3d

I 5 prodotti TOP del Black Friday di Amazon