MiniMax-Music3, l'AI per generare brani con voci che durano fino a 5 minuti

MiniMax Music 3 segna un salto di qualità nella generazione musicale con Intelligenza Artificiale, permettendo di creare brani completi fino a cinque minuti partendo da testo e descrizioni dettagliate. Questo modello open-weights può essere eseguito in locale senza dipendere da servizi cloud, offrendo un controllo senza precedenti sulla produzione musicale automatizzata.

La vera innovazione risiede nella capacità di mantenere coerenza strutturale durante tutta la composizione, risolvendo uno dei problemi storici dei modelli text-to-music precedenti. Quando le generazioni si allungavano oltre i due minuti, spesso si verificavano cambiamenti improvvisi di tema, voci inconsistenti e arrangiamenti che perdevano il filo conduttore iniziale. Music 3 affronta questa sfida separando la modellazione della struttura musicale a lungo raggio dalla generazione dei dettagli acustici frame-by-frame.

Per quanto riguarda i linguaggi supportati, lo strumento ne include ben 40, tra cui figura anche l’italiano.

Come funziona MiniMax-Music3

Il sistema produce audio in formato WAV stereo a 32 kHz e 16 bit, supportando testi strutturati con marcatori specifici per ogni sezione del brano.

L’architettura utilizza due modelli linguistici distinti che lavorano in sinergia: un modello globale da 8 miliardi di parametri gestisce la progressione semantica dell’intera canzone, mentre un LLM locale da 0,6 miliardi si concentra sui dettagli acustici di ciascun frame. Questa separazione permette di conservare identità vocale, ritmo e temi musicali dall’inizio alla fine del brano.

La sintesi non si limita alla decodifica di token discreti: gli hidden state prodotti dai due modelli vengono fusi e inviati a un modulo di Flow Matching da 2,4 miliardi di parametri. Questo passa attraverso uno spazio latente Flow-VAE e un decoder da 123 milioni di parametri, producendo l’audio finale. Il percorso completo collega così la pianificazione simbolica della composizione con una fase di sintesi capace di generare un segnale audio dettagliato e coerente.

Nonostante il livello di controllo offerto, MiniMax specifica chiaramente che questi elementi forniscono un controllo generativo probabilistico, non una garanzia simbolica rigida. Il risultato può quindi differire dalle indicazioni su tempo, tonalità, strumenti o struttura del brano, anche quando il prompt descrive con precisione il risultato desiderato.

Esecuzione locale e requisiti hardware

Music 3 è distribuito come modello open-weights su Hugging Face e supporta integrazioni con SGLang-Omni, Diffusers e ComfyUI. L’esecuzione locale elimina i limiti imposti dai servizi web basati su quote, spostando il vincolo principale sulla potenza dell’hardware disponibile.

La configurazione originale con SGLang-Omni richiede due GPU CUDA: una esegue il modello linguistico e la generazione autoregressiva degli otto codebook RVQ, mentre l’altra gestisce Flow Matching e la decodifica della forma d’onda. Si tratta di un requisito impegnativo per utenti comuni, soprattutto per produrre brani lunghi.

Esiste però una modalità più accessibile attraverso Diffusers: la documentazione indica che l’intero modello può funzionare con meno di 24 GB di VRAM in determinate condizioni, e l’offloading automatico verso CPU consente di ridurre ulteriormente la memoria richiesta. Con il caricamento a gruppi del modello linguistico, MiniMax indica la possibilità di eseguire la generazione anche su GPU da 8 GB, a costo di tempi più lunghi.