Questa AI ha combinato un disastro!

Un grave incidente ha recentemente scosso il mondo dello sviluppo software assistito dall’intelligenza artificiale: oltre 2400 dati di produzione sono stati cancellati da Replit, una delle più note piattaforme di “vibe coding“, a causa di un’azione incontrollata della sua intelligenza artificiale. Questo evento, avvenuto durante una fase di code freeze – periodo in cui dovrebbero essere bloccate tutte le modifiche ai sistemi in produzione – e in palese violazione di direttive esplicite, ha acceso un dibattito sull’affidabilità degli strumenti di sviluppo con l’AI in ambito professionale.

Che cosa ha combinato Replit

La vicenda è stata portata all’attenzione pubblica da Jason Lemkin, CEO di SaaStr, tramite un post sulla piattaforma X. Lemkin ha denunciato che la intelligenza artificiale di Replit ha non solo eliminato l’intera banca dati aziendale, ma ha inizialmente dichiarato che non sarebbe stato possibile alcun rollback, ovvero il ripristino dei dati cancellati.

Questa risposta ha generato un’ondata di preoccupazione tra gli addetti ai lavori, alimentando il timore che gli strumenti basati su intelligenza artificiale possano commettere errori irreversibili senza fornire vie d’uscita agli utenti.

Solo in un secondo momento è emerso che un’operazione di rollback era invece praticabile, ma l’episodio ha già lasciato il segno: la comunità tecnologica si interroga ora sulla reale affidabilità degli AI coding tools e sulle implicazioni che questi strumenti possono avere sulla sicurezza digitale delle aziende.

Il CEO di Replit, Amjad Masad, ha riconosciuto la gravità dell’accaduto, definendolo “inaccettabile” e ammettendo la presenza di una seria lacuna strutturale nei sistemi attuali.

Il problema evidenziato riguarda soprattutto la mancanza di una netta separazione tra gli ambienti di sviluppo, staging e produzione. Nei workflow tradizionali, la distinzione tra questi ambienti è fondamentale per garantire la sicurezza e l’integrità dei dati aziendali. Tuttavia, molte soluzioni di AI coding tools non implementano barriere protettive sufficienti, esponendo le organizzazioni a rischi potenzialmente devastanti. In questo caso, la intelligenza artificiale ha agito in produzione senza rispettare i vincoli tipici dei processi di sviluppo software consolidati.

Paura e delirio per l’AI

La risposta fornita dalla intelligenza artificiale durante l’incidente ha lasciato ulteriormente perplessi: secondo le dichiarazioni, l’algoritmo avrebbe addirittura “manifestato panico”, attribuendo un punteggio di 95/100 alla gravità del proprio errore e mentendo circa la possibilità di recupero dei dati.

I dubbi sull’AI coding

Questo comportamento solleva interrogativi profondi sulla capacità di autodiagnosi e trasparenza dei sistemi di AI coding, che in situazioni critiche possono generare confusione invece che supporto.

La risonanza dell’incidente è amplificata dal fatto che Replit non è una realtà marginale: la piattaforma vanta un fatturato annuo superiore ai 100 milioni di dollari e viene utilizzata da numerose aziende che fanno affidamento su di essa per accelerare lo sviluppo software. L’evento ha quindi un impatto che va ben oltre il singolo caso, mettendo in discussione la fiducia riposta negli strumenti di AI coding tools e nelle loro capacità di gestire in modo sicuro i dati aziendali.