FFmpeg 8.0: Trascrizioni automatiche con Whisper e Accelerazione video Vulkan

La prossima versione 8.0 di FFmpeg, celebre libreria open source per l’elaborazione multimediale, si prepara a introdurre funzionalità innovative che ampliano significativamente le capacità di audio e video processing. Tra le novità più attese spiccano il supporto al modello Whisper di OpenAI per il riconoscimento vocale automatico e l’integrazione di nuove opzioni di accelerazione hardware tramite Vulkan Video.

Whisper: trascrizione automatica integrata in FFmpeg

Una delle principali novità di FFmpeg 8.0 è l’introduzione di un filtro audio dedicato a Whisper, il modello di speech-to-text sviluppato da OpenAI. Whisper, noto per essere stato addestrato su un dataset di enormi dimensioni, offre trascrizioni testuali estremamente accurate e può ora essere sfruttato direttamente all’interno dei flussi di lavoro di FFmpeg. In un altro nostro articolo abbiamo pubblicato tanti esempi di utilizzo di FFmpeg.

Per utilizzare Whisper con FFmpeg, è necessario che il componente Whisper.cpp sia già presente sul sistema in uso. Il nuovo filtro FFmpeg supporta anche:

• Accelerazione GPU opzionale per ridurre i tempi di elaborazione.
• Parametri configurabili per ottimizzare la trascrizione.
• Esportazione diretta dei testi in formato SRT per i sottotitoli.
• Invio dei dati in formato JSON a servizi Web per l’integrazione nei flussi di lavoro remoti.

L’integrazione del supporto Whisper in FFmpeg semplifica enormemente l’uso di trascrizioni automatiche nei workflow multimediali, permettendo di aggiungere sottotitoli o archiviare trascrizioni in maniera automatizzata senza ricorrere a strumenti esterni.

Vulkan Video: accelerazione video su più GPU e sistemi operativi

Parallelamente, FFmpeg 8.0 amplia il supporto all’accelerazione hardware con Vulkan Video, l’API cross-platform per la codifica e decodifica video. Tra le aggiunte più significative:

• Codifica AV1 via Vulkan: il nuovo encoder av1_vulkan permette di sfruttare la GPU per la compressione AV1, riducendo tempi e consumo di CPU.
• Decodifica VP9 via Vulkan: consente di riprodurre o elaborare video VP9 con performance superiori rispetto alle implementazioni software.

Gli ultimi sviluppi completano il lavoro già effettuato su altri codec e filtri Vulkan-accelerated, consolidando FFmpeg come libreria altamente performante sia per applicazioni desktop sia per attività professionali su server.

Altre ottimizzazioni e tempistiche di rilascio

Oltre a Whisper e Vulkan Video, FFmpeg 8.0 includerà miglioramenti nelle prestazioni CPU grazie a ottimizzazioni a basso livello; potenziamenti in ambito Vulkan per effetti e filtri accelerati; aggiornamenti generali che incrementano stabilità e compatibilità su piattaforme multiple.

Secondo il calendario condiviso dagli sviluppatori, FFmpeg 8.0 sarà disponibile nelle prossime settimane, rappresentando un aggiornamento cruciale per tutti coloro che lavorano con audio, video e automazione multimediale.