Fine di un'era: il web crawler di OpenAI ha scansionato più siti di quello di Google

Anche se quasi nessuno degli utenti del web lo sa, tutta la nostra esperienza quotidiana su Internet si basa sul lavoro silenzioso dei cosiddetti web crawler, cioè di bot che hanno la funzione di cercare su Internet i siti, seguire i link, raccogliere informazioni per poi indicizzarle e catalogarle. Senza questi bot né Google, né Microsoft, né nessuna delle aziende che oggi offrono servizi di ricerca online basata sull’AI potrebbero rispondere ad alcuna domanda o prompt degli utenti.

La novità di questi mesi, però, è che il crawler più attivo sul web non è più quello di Google, bensì quello di OpenAI. O almeno così sembrerebbe a leggere l’ultimo report pubblicato da Hostinger, azienda che offre servizi di hosting e che ha la capacità di registrare ogni “passaggio” che i vari bot di crawling fanno su ogni sito online.

GPT Bot batte Google Bot

Secondo il report, degli oltre 5 milioni di siti ospitati su server Hostinger ben l’88% ha ricevuto almeno una visita da parte di GPT Bot, il crawler di OpenAI, mentre la percentuale scende al 78% se contiamo le visite del bot di Google.

Al netto di eventuali errori statistici, quindi, il bot che porta i dati a ChatGPT è più attivo rispetto a quello che porta i dati all’ecosistema di ricerca (AI e tradizionale) di Google.

Se ai passaggi di GPT Bot aggiungiamo quelli dei rispettivi bot di Anthropic, Meta e degli scraper di TikTok arriviamo ad un volume di richieste giornaliere che supera 1,4 miliardi.

Questi numeri vogliono dire solo una cosa: c’è un’attività frenetica di ricerca e indicizzazione del web fatta in silenzio, ogni giorno, dalle aziende di AI. In più, circa l’80% dell’attività globale di questo tipo è in mano ad aziende USA, mentre il 10% è effettuato da aziende cinesi e quel che resta va diviso tra le aziende del resto del mondo.

Internet sta per morire?

Questi dati vanno analizzati anche alla luce della sempre più citata “Dead Internet Theory“, la teoria secondo la quale il web sarebbe già morto o in punto di morte, a causa del fatto che si pubblicano sempre meno contenuti “umani” e sempre più contenuti “sintetici”.

Contenuti sintetici che, per di più, sono generati con strumenti sviluppati da pochissime enormi aziende (Google, OpenAI, Microsoft, Meta, Anthropic…), aggravando ulteriormente il rischio che il web muoia, come ha detto persino Tim Berners-Lee (che il web lo ha inventato nel 1991).