Sapevate che l’Europa ha il suo ChatGPT open source? Si chiama EuroLLM

L’affermazione che «l’Europa è indietro» rispetto a USA e Cina nel campo dell’intelligenza artificiale ha una sua verità storica: grandi ecosistemi privati e investimenti concentrati altrove hanno dato a pochi attori un vantaggio competitivo difficile da colmare. Sapevate però che l’Europa ha il suo Large Language Model (LLM) aperto, open source, libero da vincoli? Si chiama EuroLLM ed è una famiglia di modelli AI progettata fin dall’inizio per servire tutte le 24 lingue ufficiali dell’Unione europea, con versioni come EuroLLM-9B e EuroLLM-1.7B, pensate rispettivamente per performance su larga scala e per deployment su edge (quindi molto vicino ai dati delle aziende e degli enti pubblici).

Che cos’è EuroLLM: obiettivo e natura del progetto

EuroLLM vuole essere una dimostrazione concreta di come anche l’Europa possa costruire modelli AI competitivi, trasparenti e accessibili. Non solo. EuroLLM vuole rappresentare un balzo avanti rispetto “allo standard”: assicura un design linguistico che evita la sovra-dominanza dell’inglese, si distingue per la sua apertura scientifica (rilascio di pesi, tokenizer e strumenti per la comunità), nonché per l’accesso a infrastrutture di calcolo di livello mondiale.

L’addestramento dei modelli è avvenuto sfruttando il supercomputer MareNostrum 5 del Barcelona Supercomputing Center, una risorsa pre-exascale messa a disposizione dall’ecosistema EuroHPC.

Dietro al progetto EuroLLM c’è un consorzio ampio e trasversale che unisce università, centri di ricerca e aziende europee. Tra gli attori e le istituzioni implicate troviamo — tra gli altri — Unbabel, Instituto Superior Técnico (Técnico Lisboa), University of Edinburgh, Instituto de Telecomunicações, Université Paris-Saclay, Aveni / labs Aveni.ai, Sorbonne University, Naver Labs Europe, University of Amsterdam e il Barcelona Supercomputing Center (BSC) come host di MareNostrum 5.

Il lavoro ha ricevuto supporto e co-finanziamento da iniziative europee come Horizon Europe, l’European Research Council e il programma/iniziativa EuroHPC JU. I modelli EuroLLM sono pubblicamente disponibili tramite piattaforme come Hugging Face, per favorire ricerca, sperimentazione e adozione da parte delle imprese europee.

Linee tecniche principali

La release principale si chiama EuroLLM-9B (≈9 miliardi di parametri) ma accanto ad essa è disponibile una variante più leggera, EuroLLM-1.7B, pensata per dispositivi edge. La 9B viene resa disponibile in versione base per fine-tuning e in versione Instruct per seguire istruzioni/chat.

Il modello è stato addestrato su dataset multilingue di ampia scala (nell’ordine dei trilioni di token secondo la documentazione del progetto) e include materiale in 35 lingue diverse, con attenzione alle 24 lingue ufficiali dell’UE.

Il team ha dichiarato l’intenzione di estendere il modello con capacità vision e voice, sviluppando una versione multimodale che comprenda testo, immagini e audio, pur mantenendo l’approccio multilingua.

Come provare ed eseguire EuroLLM

Come evidenziato in precedenza, EuroLLM-9B e EuroLLM-1.7B sono pubblicati su Hugging Face: è possibile provarli usando la piattaforma oppure scaricare i pesi per uso locale. In generale, inoltre, conviene usare la quantizzazione (bitsandbytes, 4-bit) o l’offloading su GPU in modo da ridurre drasticamente il requisito di VRAM.

Per il modello EuroLLM da 1,7 miliardi di parametri si può usare una GPU consumer con 8–12 GB VRAM (RTX 3060/4060/3070/4060 Ti) con elaborazioni in FP16 o senza quantizzazione. Per un approccio multi-utente si può prevedere l’uso di una GPU da 24 GB.

Il modello più pesante da 9 miliardi di parametri necessita (per inferenza con 4-bit, uso singolo utente) di almeno una GPU con 24 GB VRAM (ad esempio RTX 4090, A5000 24GB) più 64 GB RAM sistema. Per ottenere buone performance è raccomandata una GPU server con almeno 40 GB di VRAM (ad esempio una A100 40GB).