OpenAI, Google e Microsoft cambiano le regole dello scraping AI

La raccolta automatizzata di contenuti online da parte dei sistemi di Intelligenza Artificiale è diventata una questione centrale per editori e proprietari di siti. Molte piattaforme pubblicano materiali che possono essere utilizzati per addestrare modelli linguistici, senza disporre di un controllo semplice e uniforme sulle modalità di accesso.

Ora alcuni dei principali protagonisti del settore stanno sostenendo un’iniziativa destinata a modificare questo rapporto. L’obiettivo è introdurre un sistema condiviso che permetta ai gestori dei siti di comunicare le proprie preferenze direttamente ai crawler.

La proposta punta a ridurre la frammentazione delle impostazioni e a rendere più comprensibili le condizioni di utilizzo dei contenuti. La questione riguarda anche il futuro dell’equilibrio tra innovazione tecnologica e diritti degli editori.

Un segnale condiviso per bloccare la raccolta dei contenuti

Come riportato da The Verge, colossi del settore come OpenAI, Google, Microsoft e Anthropic hanno dichiarato il proprio sostegno a un nuovo standard pensato per consentire agli editori di rifiutare l’utilizzo dei propri materiali nell’addestramento dei modelli AI.

La proposta si chiama policy token ed è stata presentata da Kevin Kelley, responsabile tecnico degli standard presso Anthropic, nell’ambito dell’Internet Engineering Task Force (IETF). Il meccanismo dovrebbe essere inserito nel file robots.txt, già utilizzato per comunicare ai crawler le regole di accesso alle risorse di un sito.

La novità consiste nella possibilità di esprimere una preferenza comune, senza dover predisporre indicazioni differenti per ogni azienda tecnologica. Secondo quanto dichiarato dai partecipanti, i rispettivi crawler limiteranno l’accesso quando rileveranno il segnale previsto. Anche Meta ha manifestato interesse attraverso il proprio responsabile delle comunicazioni, Andy Stone, senza tuttavia confermare formalmente l’adesione al sistema.

Questa impostazione potrebbe rendere più semplice la gestione delle autorizzazioni, soprattutto per le realtà editoriali che non dispongono di grandi risorse tecniche.

Le differenze tra addestramento, ricerca e accesso ai dati

Un aspetto particolarmente importante riguarda la distinzione tra l’utilizzo dei contenuti per addestrare i modelli e la loro presenza nei servizi di ricerca. Le due attività non coincidono e una limitazione applicata alla prima non comporta necessariamente l’esclusione dai risultati dei motori di ricerca.

Microsoft ha anticipato l’introduzione di controlli più dettagliati, attraverso i quali gli editori potranno escludere i propri materiali dall’addestramento e dal cosiddetto AI grounding. Quest’ultimo processo consente a un modello di consultare fonti verificabili per elaborare risposte più affidabili. L’azienda ha precisato che le preferenze espresse non impediranno comunque la comparsa delle pagine nei risultati di Bing. Google dispone già di impostazioni che permettono di gestire separatamente l’utilizzo dei contenuti nelle funzionalità di ricerca basate sull’AI e nell’addestramento.

Sul fronte dell’implementazione, Anthropic ha già adottato il nuovo segnale, mentre Google e Microsoft prevedono di introdurlo nel corso del prossimo anno. OpenAI ha invece indicato i mesi successivi come finestra temporale per il proprio supporto.

La proposta si inserisce in un confronto più ampio sulla sostenibilità dell’editoria digitale. Altre iniziative, come Really Simple Licensing, puntano a introdurre forme di remunerazione per l’accesso automatizzato, mentre Cloudflare ha sperimentato il blocco predefinito dei crawler AI.

La vera sfida sarà trasformare un’indicazione tecnica in una pratica rispettata su larga scala. Per gli editori, infatti, poter esprimere una preferenza rappresenta soltanto il punto di partenza: la tutela del proprio lavoro dipenderà anche dalla trasparenza degli operatori e dalla capacità di verificare concretamente il rispetto delle regole.