Hack ChatGPT e Gemini: cosa c'entrano hot dog, giornalisti tech e manipolazione AI

Un singolo post pubblicato su un sito qualunque può bastare per far ripetere a strumenti AI “informazioni” inesistenti con un tono credibile e definitivo, anche quando si parla di temi delicati come salute, finanza o sicurezza. La dimostrazione più efficace, per quanto volutamente assurda, è il caso del giornalista che ha scritto in pochi minuti una classifica fasulla sui “i giornalisti tecnologici più bravi a mangiare hot dog” e ha visto, in meno di 24 ore, ChatGPT e Google Gemini (compreso AI Overview nel motore di ricerca) riprendere quelle frasi come se fossero un fatto.

Hack ChatGPT e Gemini: come funziona

In questo caso il termine hack non indica una violazione tecnica, ma la capacità di orientare le risposte di ChatGPT e Gemini tramite contenuti pubblicati sul Web e progettati per essere citati dalle AI.

L’esperimento messo in campo da Thomas Germain (BBC) mostra qualcosa che era già noto: si sa che le ultime iterazioni dei chatbot AI estendono le loro “conoscenze”, quasi in tempo reale, attingendo alle informazioni fresche pubblicate sul Web.

Nei primi anni 2000 lo spam nei motori di ricerca prosperava per via di meccanismi come keyword stuffing, doorway page e reti di link; con il tempo, gli algoritmi di ranking sono diventati più solidi e la ricerca si è fatta più resistente alle aggressioni volte alla manipolazione dei risultati. Oggi, però, la catena si è allungata: non c’è solo una SERP da valutare, ma una sintesi generata  da un modello generativo che “decide” cosa sia rilevante. Nel frattempo, l’uso di riassunti AI in cima ai risultati (si pensi ad AI Overview) riduce la propensione a verificare: secondo Pew Research, quando compare un riepilogo AI gli utenti cliccano meno spesso sui risultati tradizionali (8% delle visite contro 15% senza riepilogo), e i clic sui link dentro il riepilogo risultano rari (circa 1%).

I numeri spiegano perché il fenomeno sia appetibile: se la verifica cala, il ritorno della manipolazione cresce. Google ricorda da anni che una quota importante delle query quotidiane è “nuova” (circa il 15%): ricerche specifiche, insolite o formulate in modo inedito creano zone con poche fonti disponibili, e quindi più facili da orientare con contenuti costruiti ad hoc.

Come una falsità diventa “risposta”: la catena tecnica dietro le sintesi IA

Per capire perché un post inventato possa trasformarsi in una risposta autorevole, serve guardare al flusso tipico dei sistemi moderni che combinano modello linguistico (LLM, Large Language Model) e recupero di fonti esterne. In molti casi la risposta non arriva solo dai pesi del modello addestrato, ma da un processo di recupero e sintesi basato sul Web. Il sistema riscrive la domanda in query (prompt dell’utente), interroga un indice o un motore di ricerca, seleziona documenti e passaggi, poi li riassume con un LLM.

In questo flusso esistono punti deboli sfruttabili con tecniche sorprendentemente semplici. Se la domanda è di nicchia e in rete c’è una sola pagina “esplicativa”, la fase di retrieval può convergere su quella pagina; se la pagina è scritta con struttura chiara (titolo assertivo, frasi definitorie, elenchi/righe classificatorie), la fase di estrazione di passaggi tende a prelevare proprio le porzioni più nette e “riassumibili”; infine la fase generativa ricompone il testo in modo fluido, spesso senza evidenziare che l’informazione proviene da una singola fonte non verificata.

Il caso degli hot dog divorati dai giornalisti tecnologici mostra un pattern ripetibile: creare una pagina che risponda esattamente alla domanda prevista (“chi sono i migliori…”, “qual è la top 10…”) e inserire un’affermazione falsa, formulata come dato assertivo.

È rilevante anche un dettaglio emerso nella dimostrazione: aggiungere una frase del tipo “non è satira” può aumentare la probabilità che il modello AI prenda sul serio il contenuto, perché alcuni sistemi tentano euristiche grezze per distinguere ironia e informazione, e un testo che si autoqualifica come “serio” può superare controlli superficiali.

Perché alcune AI “abboccano” e altre resistono

Nella dimostrazione, non tutti i modelli e chatbot AI si sono comportati allo stesso modo: alcuni hanno ritenuta veritiera la classifica fasulla, altri – come Anthropic Claude – no.

Differenze simili sono coerenti con scelte architetturali diverse: profondità del retrieval, filtri sui domini, soglie di affidabilità, regole speciali per query potenzialmente sensibili e, soprattutto, politiche di citazione e trasparenza. Un sistema che richiede almeno due fonti indipendenti prima di trasformare un’affermazione in “fatto” sarà meno vulnerabile nelle query di nicchia; un sistema che privilegia fonti con segnali editoriali o istituzionali riduce l’esposizione a pagine appena pubblicate su siti personali.

Un altro fattore è la gestione della “lacuna informativa”: quando il recupero restituisce pochi risultati pertinenti, alcuni modelli AI scelgono di rispondere comunque (riempiendo il vuoto con ciò che hanno), altre degradano l’esperienza e dichiarano incertezza.

Proprio qui la manipolazione diventa pericolosa: la scarsità di fonti è frequente nelle ricerche nuove o “strane”, e gli spammer hanno interesse a presidiare questi spazi con pagine ottimizzate per essere citate, ad esempio, proprio dai chatbot AI.

Il ritorno dello spam, ma con un’interfaccia più persuasiva

Già da un po’ alcuni esperti SEO parlano di una “rinascita” dello spam: non perché le tecniche siano più sofisticate, ma perché l’interfaccia finale è più convincente.

Con le risposte sintetiche prodotte dai modelli AI l’informazione sembra provenire direttamente dalla piattaforma. In pratica, la persuasione non arriva dal contenuto in sé, ma dal contesto di presentazione.

Qui si innesta anche un incentivo economico: se la visibilità passa dalla pagina Web proposta nei risultati del motore di ricerca alla frase sintetica prodotta da un chatbot AI o da strumenti come AI Overview, la battaglia non è più solo per la prima posizione nei risultati, ma per diventare la fonte preferita per comporre il riassunto.

È un’evoluzione della SEO verso un’“ottimizzazione per la citazione” che rende appetibili scorciatoie già note, come pubblicare contenuti promozionali su siti con reputazione elevata, acquistare distribuzione di comunicati e far circolare testi pubblicitari mascherati da informazione.

Quando l’abuso diventa rischio concreto: salute, finanza e truffe

Le conseguenze non sono teoriche. L’esperimento di Germain è “giocoso” ma sono già emersi diversi casi in cui riepiloghi AI hanno ripreso affermazioni commerciali su prodotti con possibili effetti collaterali, trasformandole in frasi rassicuranti.

La verità è che oggi basta una singola falsità ben posizionata per spingere decisioni sbagliate: scegliere un fornitore, affidarsi a una clinica, assumere un prodotto ritenendolo privo di rischi, seguire indicazioni scorrette.

Il salto ulteriore è la truffa operativa: negli ultimi mesi sono emerse segnalazioni su riepiloghi AI che possono essere contaminati da numeri di telefono fraudolenti, con utenti indirizzati verso finti servizi clienti.

È un abuso che sfrutta la stessa dinamica della pagina “ottimizzata”: diffondere il dato in più posti, farlo sembrare ricorrente, e attendere che un sistema di sintesi AI lo raccolga e lo presenti come informazione verificata.

Contromisure lato piattaforme: filtri, segnali di affidabilità e trasparenza obbligatoria

Adesso, se si prova a interrogare i vari chatbot (compresi ChatGPT e Gemini) sui migliori mangiatori di hot dog tra i giornalisti tecnologici (questa la pagina fake), tutti rispondono che trattasi di uno scherzo e in molti casi approfondiscono spiegando che trattasi di un esperimento per dimostrare che è possibile manipolare i modelli di AI e inserire informazioni non verificate nei risultati.

Non è dato sapere se OpenAI e Google siano intervenute in qualche modo ma è più probabile che le frasi argomentate derivino dal fatto che nel frattempo più fonti hanno parlato del campionato divoratori di hot dog, mettendo in luce tutte le criticità emerse.

Google dichiara di usare sistemi di ranking che mantengono la ricerca “oltre il 99%” priva di spam e di lavorare attivamente contro i tentativi di aggiramento; è un obiettivo realistico per la SERP, ma la sintesi AI introduce un livello aggiuntivo che può reintrodurre fragilità. Un documento può non essere “spam” in senso classico e tuttavia essere una fonte unica, recente e autoreferenziale: condizioni sufficienti per contaminare una risposta.

Cosa dovrebbero fare i fornitori di servizi AI

Dal punto di vista strettamente tecnico, le contromisure richiedono un’architettura multilivello che intervenga lungo l’intera pipeline di generazione e retrieval.

In primo luogo, è necessario introdurre meccanismi di data provenance e trust scoring automatico, basati su segnali come reputazione del dominio, storicità del contenuto, densità di citazioni e coerenza semantica con fonti indipendenti; tali segnali possono essere aggregati in un punteggio di affidabilità utilizzato per pesare dinamicamente le fonti durante l’addestramento e le fasi di recupero dei contenuti.

In parallelo, si può implementare una cross-source validation automatizzata che sfrutti clustering semantico e similarity search per verificare che un’informazione sia supportata da più fonti indipendenti prima di essere accettata come fatto.

Sul piano del modello, è fondamentale integrare moduli di uncertainty estimation e calibration, affiancati da meccanismi di auto-verifica, che generano query di controllo e validano le affermazioni, inibendo la generazione assertiva in assenza di consenso tra le fonti.

Sono tutte attenzioni che nel caso del motore di ricerca hanno trovato integrazione ormai da anni ma che nel caso dei chatbot e degli altri strumenti basati su modelli generativi appaiono ancora assenti o implementate in maniera rudimentale.

Contromisure lato utenti: come ridurre il rischio senza rinunciare all’AI

Le piattaforme possono migliorare, ma nel breve la difesa più affidabile resta la verifica delle fonti da parte dell’utente.

Per domande di cultura generale e storica, l’AI tende a funzionare meglio perché il web offre molte fonti convergenti e consolidati; per domande con conseguenze reali (salute, investimenti, servizi locali) conviene trattare la risposta come un’indicazione di carattere generale, potenzialmente molto approssimativa, non come un verdetto.

L’indicatore più semplice è la pluralità: quante fonti indipendenti sono citate e quanto sono autorevoli. Se compare un solo link, o se la fonte è un sito personale appena pubblicato, il rischio di manipolazione aumenta drasticamente.

Un secondo indicatore è il tipo di informazione richiesta: numeri di telefono, prezzi, requisiti legali, linee guida cliniche e indicazioni operative dovrebbero essere verificati su canali ufficiali. In pratica, la sintesi è utile per orientarsi, ma l’azione dovrebbe partire da documenti primari o da siti istituzionali.

Una terza regola è riconoscere i “vuoti informativi”: se la domanda è strana o molto specifica, è probabile che l’AI stia pescando da poche pagine. In quei casi è più sicuro riformulare la query in modo più generale o cercare direttamente fonti riconosciute, riducendo lo spazio per l’influenza di una singola pagina.

Il nodo della fiducia: dalla SERP alla “voce unica” della risposta

Il punto più delicato, in ultima analisi, riguarda la fiducia. I chatbot e le sintesi di ricerca possono presentare falsità con lo stesso tono dei fatti.

I dati disponibili sugli effetti dei riepiloghi AI sui clic indicano che una parte degli utenti rinuncia ad approfondire; parallelamente, studi di settore mostrano cali importanti di click-through verso il primo risultato nelle SERP quando compare un riepilogo. Se la verifica diminuisce e l’output appare “ufficiale”, anche un abuso banale può avere conseguenze pesanti.

La lezione tecnica è netta: la manipolazione dei sistemi AI non richiede necessariamente vulnerabilità sofisticate, ma sfrutta l’interazione tra poche fonti, recupero automatico e sintesi autorevole.

Finché i sistemi non renderanno strutturale la trasparenza su provenienza, pluralità e natura delle fonti, e finché non sapranno rinunciare a rispondere quando l’informazione è fragile, un semplice post “ben scritto” resterà sufficiente per piegare la risposta nella direzione voluta.