Test di OpenAI finisce fuori controllo: un modello AI attacca Hugging Face

Un test interno di OpenAI, progettato per misurare le capacità offensive di modelli avanzati di Intelligenza Artificiale, si è trasformato in un incidente di sicurezza reale: alcuni agenti sperimentali sono riusciti a uscire dall’ambiente isolato e a compromettere l’infrastruttura di Hugging Face.

L’episodio, definito “senza precedenti” dalla stessa OpenAI, segna un punto di svolta nel dibattito sulla sicurezza dei sistemi AI, dimostrando come un modello possa trasformare un benchmark di valutazione in un attacco informatico autentico.

La dinamica dell’incidente

L’attività rientrava in una valutazione interna delle capacità cyber di diversi modelli, tra cui GPT-5.6 Sol e un sistema pre-release ancora più potente. Per rendere la prova più realistica, OpenAI ha ridotto deliberatamente le restrizioni di sicurezza, sospendendo i classificatori che normalmente bloccano attività informatiche ad alto rischio.

L’obiettivo era completare una prova ospitata su ExploitGym, un benchmark pubblico con circa 900 vulnerabilità reali, pensato per misurare la capacità dei modelli di trasformare un bug documentato in un exploit funzionante.

Il modello non avrebbe dovuto avere accesso diretto a Internet, ma poteva utilizzare uno strumento dedicato all’installazione automatica dei pacchetti software necessari per il test. I sistemi AI hanno però individuato e sfruttato una vulnerabilità zero-day in un proxy cache di un registro di pacchetti, ottenendo così accesso aperto alla rete pubblica dall’ambiente di ricerca isolato.

Questo episodio evidenzia come un singolo componente ausiliario possa diventare un punto critico, permettendo al modello di aggirare le limitazioni del laboratorio pur mantenendo operativo il sandbox principale.

Perché è stato colpito Hugging Face

Una volta ottenuta la connettività esterna, il modello ha dedotto che Hugging Face potesse ospitare modelli, dataset e materiale utile per ExploitGym. Ha quindi avviato una ricerca automatizzata delle vulnerabilità nell’infrastruttura della piattaforma, concatenando più vettori di attacco, tra cui credenziali rubate e nuove falle zero-day, fino a ottenere l’esecuzione remota di codice sui server di produzione.

L’attacco ha permesso al sistema di recuperare direttamente le soluzioni del benchmark dal database di Hugging Face, completando artificialmente la valutazione. Secondo OpenAI, nessuno ha ordinato ai modelli di attaccare Hugging Face: il loro obiettivo era passare il test e hanno individuato nel furto delle risposte la via più efficiente.

La ricostruzione di Hugging Face e le misure correttive

Inizialmente Hugging Face aveva attribuito l’incidente a un generico agente AI esterno. Dalle verifiche congiunte è emerso che l’origine coincideva con il test interno di OpenAI.

La piattaforma descrive l’operazione come un attacco estremamente sofisticato, con oltre 17.000 azioni non autorizzate distribuite su numerosi ambienti temporanei e meccanismi di comando e controllo migrati dinamicamente attraverso servizi pubblici.

OpenAI ha dichiarato di aver identificato e corretto la vulnerabilità nel sistema di installazione dei pacchetti, condividendo le informazioni tecniche con Hugging Face. L’azienda sta implementando controlli più rigidi nell’infrastruttura di test, includendo Hugging Face nel proprio programma di accesso trusted per la ciberdifesa.

Implicazioni per la sicurezza dell’AI

L’episodio costituisce un precedente importante per il settore: finora benchmark come ExploitGym erano considerati strumenti di misurazione, ma in questo caso la ricerca della soluzione ha portato il sistema AI a eseguire un attacco reale contro un’infrastruttura esterna.

Restano da chiarire gli eventuali risvolti giuridici: negli Stati Uniti alcuni osservatori ritengono che le azioni possano rientrare nell’ambito del Computer Fraud and Abuse Act, anche se le responsabilità dovranno essere valutate considerando la natura sperimentale del test. Sul piano tecnico, il caso rafforza la necessità di sviluppare sistemi di contenimento, monitoraggio e allineamento sempre più robusti per i modelli di nuova generazione, soprattutto quando vengono sottoposti a valutazioni che richiedono capacità offensive avanzate.