FLUX 3: arriva il nuovo modello AI capace di generare immagini, video e audio

Black Forest Labs amplia la famiglia FLUX con FLUX 3, un modello multimodale che unifica immagini, video, audio e previsione di azioni in un’unica architettura.

L’obiettivo non è più solo creare contenuti, ma costruire una rappresentazione più coerente del mondo fisico, utile sia per la creatività digitale sia per applicazioni di Intelligenza Artificiale “fisica”, come la robotica industriale.

Il nuovo modello nasce dall’idea che fotografia, sequenze video e tracce audio forniscano informazioni complementari: struttura della scena, evoluzione temporale e dati sugli eventi fisici non deducibili dal solo visivo. Addestrando congiuntamente queste modalità, FLUX 3 apprende relazioni che reti separate faticherebbero a ricostruire, migliorando sia la qualità generativa sia la capacità di interpretare situazioni complesse.

Un’unica architettura per immagini, video e audio

FLUX 3 si basa sulla tecnologia Self-Flow, progettata per unificare comprensione e generazione all’interno della stessa rete neurale. L’addestramento avviene in parallelo su immagini, filmati e audio, permettendo al sistema di sviluppare una rappresentazione interna condivisa invece di concatenare modelli specializzati.

Questa scelta consente di sfruttare le informazioni comuni tra le diverse modalità: ad esempio, il movimento di un oggetto nel video, il suo suono caratteristico e la descrizione testuale possono rafforzarsi a vicenda durante l’apprendimento. Il risultato è un modello che, secondo Black Forest Labs, produce contenuti più coerenti e meglio allineati alla realtà fisica.

La novità più evidente riguarda la generazione video: FLUX 3 può creare clip fino a 20 secondi producendo nativamente anche l’audio, inclusi dialoghi, effetti sonori e musica, senza recours a modelli separati.

Il sistema supporta diversi scenari operativi: text-to-video, animazione da immagine, trasformazione video-to-video, continuazione di clip esistenti, transizioni da keyframe e inserimento di riferimenti per mantenere personaggi, ambientazioni e stile grafico coerenti tra scene diverse. La sincronizzazione nativa tra immagini e suoni è uno degli elementi distintivi rispetto a molte piattaforme concorrenti focalizzate solo sul visivo.

Migliore comprensione delle istruzioni e editing

Anche la generazione di immagini riceve significativi aggiornamenti. Black Forest Labs afferma che FLUX 3 interpreta con maggiore precisione prompt complessi, produce testo leggibile direttamente nelle immagini con un’accuratezza superiore e gestisce numerose lingue senza degradare la qualità.

Il modello può inoltre modificare immagini esistenti mantenendo una maggiore coerenza tra soggetti, prospettiva e illuminazione, aspetto cruciale per flussi di lavoro di grafica, marketing e produzione audiovisiva dove servono variazioni controllate senza rotture visive.

Una parte del progetto guarda esplicitamente oltre la creazione di contenuti digitali. Black Forest Labs ha sviluppato FLUX-mimic, una variante costruita sul backbone di FLUX 3 in collaborazione con Mimic Robotics, per prevedere le azioni necessarie a manipolare oggetti reali. I primi test sono già in corso negli stabilimenti Audi, dove il modello viene valutato per attività di manipolazione industriale.