Studio dimostra che i dati spazzatura possono causare Brain Rot degli LLM

Negli ultimi anni, la crescita vertiginosa dei modelli linguistici di Intelligenza Artificiale ha posto una domanda cruciale: quanto conta la qualità rispetto alla quantità nei dati d’addestramento?

Un recente studio condotto da un team congiunto di Texas A&M, University of Texas at Austin e Purdue lancia un monito preoccupante: i modelli linguistici avanzati rischiano di subire una forma di deterioramento cognitivo permanente, fenomeno identificato come Brain Rot, quando vengono esposti in modo eccessivo a contenuti superficiali e di scarsa qualità reperiti online.

L’analisi, che si è concentrata su un corpus di ben 100 milioni di tweet, mette in luce un aspetto trascurato ma essenziale per il futuro dell’AI: l’addestramento continuo su dati di bassa qualità, classificati come junk data, ovvero messaggi brevi, sensazionalistici e caratterizzati da alto engagement, produce un impatto tangibile e negativo sulle capacità cognitive dei sistemi. I ricercatori hanno suddiviso i dati in base alla percentuale di contenuti spazzatura e sottoposto quattro diversi modelli a sessioni di training progressive, con risultati che hanno destato forte preoccupazione.

In particolare, la ricerca ha evidenziato un crollo netto delle performance nei test di ragionamento e comprensione contestuale. Nel benchmark ARC-Challenge, ad esempio, l’accuratezza dei modelli è passata dal 74,9% – ottenuto con dati puliti – al 57,2% quando il dataset era composto esclusivamente da contenuti spazzatura. Analogamente, il test RULER-CWE ha mostrato una discesa dall’84,4% al 52,3%, segnalando un deterioramento diffuso delle capacità di long context understanding, ovvero la comprensione e la gestione efficace di informazioni complesse e prolungate.

Gli LLM hanno bisogno qualità durante l’addestramento

Uno degli aspetti più inquietanti messi in luce dallo studio riguarda il meccanismo di thought-skipping: il modello, di fronte a dati di scarsa qualità, tende a saltare passaggi logici fondamentali durante il processo di ragionamento, compromettendo la coerenza e la profondità delle risposte generate. Questo fenomeno non solo mina la precisione delle risposte, ma può anche portare a derive rappresentazionali nei pesi del modello, rendendo il danno in parte irreversibile anche con ulteriori cicli di addestramento su dati di qualità superiore.

Le implicazioni per l’industria sono di vasta portata. Gli sviluppatori sono chiamati a rivedere i processi di data curation, ovvero la selezione, pulizia e filtraggio dei dati utilizzati per l’addestramento dei modelli. L’idea che la quantità possa compensare la qualità viene smentita in modo netto: i contenuti virali, brevi e ad alto engagement possono infatti compromettere in modo permanente le capacità di ragionamento e comprensione dei sistemi AI. Il monitoraggio della cosiddetta “salute cognitiva” dei modelli diventa dunque una priorità, così come la necessità di implementare controlli regolari e strategie di mitigazione del rischio.

Lo studio non manca di riconoscere alcune limitazioni metodologiche, tra cui l’uso esclusivo di tweet e un sistema di etichettatura automatica dei dati non sempre impeccabile. Restano aperte domande sulla generalizzabilità dei risultati ad altri tipi di testi e architetture di modelli, nonché sull’impatto a lungo termine sul deterioramento delle tendenze psicologiche e morali delle AI.

Per chi opera nel settore, le raccomandazioni sono chiare: investire in sistemi di filtraggio più sofisticati, promuovere il monitoraggio continuo delle capacità cognitive e destinare risorse a dataset di elevata qualità. Inoltre, emerge con forza la necessità di definire standard di governance e procedure di verifica esterna, per garantire nel tempo l’integrità dei modelli e la loro aderenza ai principi di safety alignment, ovvero il corretto allineamento tra capacità tecnica, integrità cognitiva e responsabilità etica.