AWS compra DuckLabs ma non DuckDB: ecco come resta open source

AWS ha firmato un accordo definitivo per acquisire DuckLabs, la società di Amsterdam che sviluppa DuckDB, uno dei database analitici open source più interessanti emersi negli ultimi anni. DuckDB è un database OLAP embedded: invece di funzionare necessariamente come un server separato, può essere incorporato direttamente in un’applicazione, in uno script Python, in un notebook o in un processo locale. È progettato per eseguire query analitiche complesse su grandi quantità di dati, con un motore colonnare e vettorizzato, e può interrogare direttamente file Parquet, CSV e JSON anche senza importarli prima in un database tradizionale.

SQLite ha reso semplice incorporare un database transazionale dentro un programma; DuckDB punta a fare qualcosa di simile per carichi OLAP (On-Line Analytical Processing), aggregazioni, scansioni e analisi su dataset di grandi dimensioni. Il progetto nasce nel 2018 presso il CWI, Centrum Wiskunde & Informatica di Amsterdam, dal lavoro di Hannes Mühleisen e Mark Raasveldt. La versione 1.0 è arrivata nel giugno 2024 e da allora l’adozione è cresciuta rapidamente, fino a superare il milione di download al giorno secondo i dati citati da DuckLabs.

AWS compra DuckLabs, non il progetto DuckDB

Amazon lo precisa esplicitamente nell’annuncio: l’acquisizione riguarda DuckLabs e il suo team, non il progetto open source. Mühleisen e Raasveldt continueranno a guidare il gruppo di Amsterdam e la direzione tecnica del software. DuckLabs diventerà una controllata di AWS, mentre la DuckDB Foundation, organizzazione senza scopo di lucro olandese, manterrà l’amministrazione dei progetti.

La Foundation dichiara di detenere la proprietà intellettuale principale e i marchi relativi a DuckDB, DuckLake e Quack. Gli statuti hanno inoltre lo scopo di garantire la distribuzione del software con licenza MIT.

AWS può quindi acquisire la società che impiega gli sviluppatori principali, finanziare il loro lavoro e integrare profondamente le tecnologie nei propri servizi, ma non ottiene per effetto dell’acquisizione la facoltà di trasformare unilateralmente DuckDB in un prodotto proprietario.

Azienda, sviluppatori e proprietà intellettuale non coincidono: nei progetti open source ben strutturati possono esistere entità distinte, create proprio per evitare che un cambio di proprietà societaria trascini con sé codice, marchi e governance.

La struttura costruita nel 2021 oggi mostra il suo valore

Quando DuckLabs nacque come spin-off del CWI, gli sviluppatori decisero di consegnarne il controllo ai fondatori e al team, ottenendo finanziamenti attraverso contratti e servizi tecnici. Nel frattempo la Foundation assunse la funzione di custode della parte open source.

La scelta poteva sembrare quasi burocratica quando DuckDB era molto più piccolo: 5 anni dopo, invece, si vedono i frutti di quella scelta visionaria che ha permesso di trasferire ad Amazon la proprietà dell’azienda senza però vendere automaticamente anche il database. Peter Boncz, ricercatore del CWI e membro del consiglio della Foundation, ha ribadito dopo l’annuncio che la fondazione detiene la proprietà intellettuale del DuckDB open source e continuerà a farlo.

Perché AWS è così interessata a DuckDB

DuckDB è spesso descritto come lo SQLite per l’analisi dati. La differenza rispetto agli approcci tradizionali è importante: un’applicazione può aprire direttamente file Parquet, CSV o JSON ed eseguire SQL senza caricare prima tutto il dataset in un database remoto. Con Parquet, DuckDB sfrutta inoltre metadata, column pruning e predicate pushdown per evitare di leggere colonne e blocchi inutili.

Il collegamento con AWS è evidente: moltissimi dataset analitici risiedono oggi su Amazon S3 o su servizi compatibili con la sua API.

L’estensione httpfs di DuckDB permette di leggere, scrivere e individuare file direttamente sugli object storage S3. Una query può quindi operare su un oggetto remoto con una sintassi simile a SELECT * FROM 's3://bucket/file.parquet'.

L’acquisizione potrebbe far pensare che S3 diventerà una destinazione privilegiata fino a rendere DuckDB dipendente da AWS. Tecnicamente, però, l’architettura attuale racconta una storia diversa: httpfs implementa il protocollo S3 e il progetto dichiara il supporto di MinIO, Google Cloud e lakeFS; altri servizi compatibili con l’API, tra cui Cloudflare R2, possono funzionare allo stesso modo.

DuckDB dispone inoltre di un’estensione aws separata che aggiunge funzionalità basate sull’AWS SDK, soprattutto per la gestione delle credenziali.

Il vero test arriverà dopo l’acquisizione

Dal punto di vista delle garanzie open source, la struttura di DuckDB appare più robusta di quella di molti progetti nati direttamente dentro una società commerciale. Codice sotto licenza MIT, proprietà intellettuale presso una fondazione non profit, marchi separati e disponibilità pubblica dei sorgenti rendono difficile un’acquisizione tradizionale del progetto attraverso la sola compravendita dell’azienda che impiega i suoi autori.

Rimane però un aspetto meno misurabile: chi paga gli sviluppatori può influenzare le priorità. Ottimizzazioni per S3, integrazioni con servizi AWS e funzionalità utili ai grandi clienti cloud potrebbero naturalmente ricevere maggiore attenzione. La verifica più interessante consisterà quindi nel vedere se DuckDB continuerà a trattare allo stesso livello storage alternativi, piattaforme concorrenti e casi d’uso completamente locali.

D’altra parte AWS ha un incentivo concreto a non restringere troppo il progetto. Una parte considerevole del valore di DuckDB nasce proprio dalla sua diffusione trasversale: gira su laptop, server, browser tramite WebAssembly, applicazioni Python e infrastrutture cloud differenti. Ridurne la neutralità significherebbe probabilmente indebolire una delle caratteristiche che hanno reso il software appetibile per Amazon.