Presentata DeepSeek V3.2-Exp, l'AI con Sparse Attention per output più lunghi

Nel panorama dell’Intelligenza Artificiale applicata all’elaborazione di testi di grandi dimensioni, l’annuncio di una nuova tecnologia capace di dimezzare i costi delle API rappresenta una svolta che non può passare inosservata.

La società cinese DeepSeek ha recentemente svelato il suo nuovo modello di linguaggio V3.2-Exp, portando al centro della scena un’innovazione che promette di rivoluzionare il modo in cui i sistemi affrontano i long context. Attraverso una combinazione di ricerca avanzata e ottimizzazione ingegneristica, DeepSeek introduce una soluzione che si candida a diventare punto di riferimento per efficienza e accessibilità nel settore.

Il cuore pulsante di questa evoluzione tecnologica è la Sparse Attention, una tecnica che, sebbene già esplorata da altri colossi del settore come OpenAI e Google, trova ora una nuova declinazione grazie all’approccio mirato di DeepSeek. L’azienda, infatti, presenta un meccanismo proprietario chiamato DSA (DeepSeek Sparse Attention), progettato per selezionare in modo estremamente efficiente solo le connessioni realmente rilevanti tra le parole di un testo. Questo risultato viene raggiunto grazie al sofisticato lightning indexer, una piccola rete neurale dedicata a identificare, per ogni token, le 2.048 relazioni più significative, eliminando di fatto il superfluo senza sacrificare la qualità dell’analisi contestuale.

DeepSeek V3.2-Exp può rappresentare una svolta nei modelli AI

Il problema che questa tecnologia affronta è ben noto agli addetti ai lavori: i tradizionali sistemi di attenzione dei modelli linguistici calcolano tutte le possibili relazioni tra le parole, portando a una crescita esponenziale della complessità computazionale man mano che la lunghezza del testo aumenta. Basti pensare che per un testo di 1.000 parole si rendono necessari circa un milione di calcoli, mentre per testi da 10.000 parole si sale vertiginosamente a cento milioni di operazioni. Questo ostacolo rappresenta una barriera sia in termini di costi sia di accessibilità a soluzioni avanzate per chi necessita di processare grandi volumi di dati.

Con l’introduzione del modello V3.2-Exp, DeepSeek ha implementato la DSA direttamente nella propria offerta commerciale, riuscendo a ridurre del 50% i costi delle API per tutti i casi d’uso che richiedono la gestione di long context. Una mossa che si traduce non solo in un vantaggio competitivo sul mercato, ma anche in un’opportunità concreta per aziende, sviluppatori e ricercatori di accedere a strumenti potenti con un investimento significativamente inferiore.

È importante sottolineare che, pur non trattandosi di una novità assoluta – basti ricordare i primi tentativi di OpenAI nel 2019 e i successivi sviluppi di Google con i modelli Reformer nel 2020 – DeepSeek afferma di aver perfezionato la tecnica con una selezione più granulare e mirata delle connessioni. Questo perfezionamento è stato particolarmente apprezzato dalla comunità degli sviluppatori, che vede nella decisione di rendere open source parte della tecnologia un elemento di trasparenza e apertura verso l’innovazione collaborativa. I pesi del modello, rilasciati sotto licenza MIT, consentono infatti verifiche indipendenti e favoriscono l’evoluzione continua attraverso il contributo della comunità scientifica.