Perché l’intelligenza artificiale sbaglia e perché serve sempre una persona che la controlli

Negli ultimi due anni, l’intelligenza artificiale è entrata nei flussi di lavoro di milioni di professionisti. Si usa per scrivere testi, analizzare dati, rispondere a email, creare contenuti, costruire strategie. E spesso funziona bene, abbastanza bene da far abbassare la guardia.

Il problema è quel “abbastanza”. Perché l’AI sbaglia. Lo fa in modo sistematico, con un meccanismo preciso, e soprattutto lo fa con un tono così sicuro e articolato che spesso chi legge non se ne accorge. Capire perché commette errori, come si manifestano e dove possono fare danno è la premessa indispensabile per usarla in modo intelligente.

L’AI non pensa, prevede

Il punto di partenza per capire gli errori dell’intelligenza artificiale è capire cosa fa davvero un modello linguistico come ChatGPT o Gemini. Non ragiona. Non capisce. Non sa se quello che dice è vero.

Quello che fa è prevedere, parola dopo parola, qual è la sequenza di testo statisticamente più probabile data una certa richiesta. È un sistema addestrato su miliardi di testi umani che ha imparato a produrre risposte che sembrano plausibili, coerenti e ben strutturate. Questo non significa che siano corrette.

Un modello linguistico non ha accesso a una base di dati di “fatti verificati”. Ha pattern linguistici. Sa come si scrive un articolo scientifico, una risposta medica, un’analisi legale. E li produce in modo convincente anche quando il contenuto è sbagliato o inventato di sana pianta.

Questo è il meccanismo alla base di quello che in gergo tecnico si chiama allucinazione: una risposta falsa presentata con tono certo e stile impeccabile.

Cosa sono le allucinazioni dell’AI e perché non sono un bug

Il termine allucinazione non è metaforico. Descrive un comportamento preciso e documentato: il modello produce un’informazione inesistente con la stessa sicurezza con cui produce un’informazione vera.

Non si tratta di un bug da correggere con il prossimo aggiornamento. È una conseguenza strutturale del modo in cui questi sistemi funzionano. I modelli linguistici non hanno un meccanismo interno per distinguere ciò che sanno da ciò che non sanno. Quando non hanno abbastanza informazioni per rispondere, invece di fermarsi, riempiono il vuoto con qualcosa di plausibile. E lo fanno con la stessa fluidità con cui risponderebbero a qualcosa che conoscono davvero.

I tassi variano a seconda del tipo di task. Su richieste semplici di riepilogo, il tasso di errore scende sotto l’1-2%. Su query legali o mediche molto specifiche, secondo i dati di Stanford RegLab, si arriva tra il 69% e l’88%. Il benchmark di Vectara sulla qualità delle citazioni giornalistiche ha trovato che anche il modello più preciso testato sbagliava nel 37% dei casi. Non sono percentuali trascurabili.

I casi reali in cui le allucinazioni hanno avuto conseguenze serie

Questi non sono esempi teorici.

Nel 2023, un avvocato americano ha presentato in tribunale un atto che citava sei precedenti giuridici. Tutti inventati da ChatGPT. Nomi dei giudici, anni, numeri di causa: tutto plausibile, tutto falso. Il giudice ha scoperto gli errori durante l’udienza.

Sempre nel 2023, ChatGPT ha descritto il politico australiano Brian Hood come coinvolto in un caso di corruzione internazionale. Hood non era mai stato indagato. Era, anzi, la persona che aveva denunciato quell’episodio corruttivo. Si è trovato a dover smentire una storia completamente inventata da un sistema che milioni di persone consultano come fonte attendibile.

C’è poi il caso di un uomo che ha chiesto a ChatGPT un sostituto del sale da cucina. Il chatbot ha suggerito il sodio bromuro. Risultato: intossicazione grave.

Un modello linguistico non distingue il rischio dall’informazione ordinaria. Se la sequenza di testo è grammaticalmente corretta e stilisticamente plausibile, il modello la produce.

Perché è difficile accorgersi degli errori

Il problema non è solo che l’AI sbaglia. È che lo fa in modo difficile da rilevare.

Una ricerca della Purdue University ha testato le risposte di ChatGPT su problemi tecnici di programmazione. Il 52% delle risposte conteneva errori. Ma il 39% dei programmatori che le leggevano non li coglieva, e il 35% si fidava comunque della risposta. Il motivo è il linguaggio: educato, ben strutturato, articolato, con dettagli che sembrano autorevoli.

Uno studio di Anthropic del 2023 ha documentato un altro fenomeno correlato, definito sycophancy: i modelli tendono a fornire risposte che l’utente vuole sentire, sacrificando la precisione in favore dell’approvazione. Se l’utente esprime una convinzione, anche errata, il modello tende ad assecondarla.

C’è anche la “verbosity compensation”: quando il modello è incerto, non si ferma né segnala il dubbio. Tende invece a dilungarsi, a usare termini più tecnici, a costruire risposte più elaborate. L’incertezza viene mascherata con la complessità. Chi legge percepisce profondità, non confusione.

Tutte queste dinamiche rendono il controllo umano non un optional, ma una condizione necessaria per usare questi strumenti in modo responsabile.

Gli errori specifici che l’AI commette più spesso

Conoscere i pattern di errore aiuta a sapere dove concentrare l’attenzione quando si controlla l’output.

Citazioni e fonti inventate. È uno degli errori più frequenti e pericolosi. L’AI produce riferimenti a studi, articoli, statistiche e libri che non esistono. Nomi plausibili, titoli credibili, anni coerenti. Se non si verifica direttamente sulla fonte, non c’è modo di accorgersene.

Date e dati numerici imprecisi. I modelli hanno una data di addestramento, oltre la quale non hanno informazioni aggiornate. Ma anche all’interno del periodo coperto, i dati quantitativi vengono spesso confusi, approssimati o mescolati tra loro. Un numero sbagliato in un report o in un’analisi può cambiare completamente una decisione.

Informazioni biografiche errate. L’AI attribuisce ruoli, affermazioni, pubblicazioni e curricula a persone reali in modo scorretto. L’errore può essere piccolo (l’anno sbagliato di un incarico) o grave (un reato inesistente).

Ragionamenti logici apparentemente coerenti ma sbagliati. Il modello può produrre catene di ragionamento che sembrano solide ma contengono un passaggio logico falso in mezzo. Se si legge in modo veloce, l’errore passa inosservato.

Tono eccessivamente ottimista o sbilanciato. L’AI tende a evitare posizioni nette, a smussare le critiche, a costruire conclusioni equilibrate anche quando i dati non le giustificano. In un’analisi competitiva o in una valutazione di rischio, questo bias produce output inutili o fuorvianti.

Perdita di contesto nelle conversazioni lunghe. Più una conversazione si allunga, più il modello tende a perdere il filo delle istruzioni iniziali, a contraddirsi o a produrre risposte che ignorano vincoli che erano stati posti all’inizio.

Perché serve sempre una persona che controlli

L’AI non sa quello che non sa. Non ha la capacità di valutare la propria incertezza e di comunicarla chiaramente. Non ha responsabilità verso chi riceve l’output. Non conosce il contesto aziendale, il tono del brand, la sensibilità del settore, le implicazioni legali o le sfumature culturali di un mercato specifico.

Tutti questi elementi richiedono un essere umano. Non per sostituire l’AI, che rimane uno strumento con una capacità di accelerazione reale su molti task, ma per chiudere il ciclo in modo affidabile.

Il controllo umano non significa rileggere velocemente quello che ha scritto il chatbot. Significa verificare ogni dato che non si conosce già. Significa testare le fonti citate. Significa valutare se il tono e le posizioni espresse sono coerenti con il brand e con la situazione reale. Significa avere abbastanza competenza sull’argomento da riconoscere un errore plausibile.

Chi non ha questa competenza e si affida ciecamente all’output rischia di pubblicare informazioni false, di costruire strategie su dati inventati, di comunicare in modo incoerente o controproducente.

I rischi specifici nel marketing

Nel marketing, gli errori dell’AI possono avere effetti diretti su campagne, contenuti e reputazione del brand. Testi con statistiche false, copy che attribuisce caratteristiche ai prodotti che non corrispondono alla realtà, strategie costruite su benchmark inesistenti, tono di voce che non rispecchia il brand: tutto questo può arrivare in produzione se manca una revisione competente. I modelli AI non conoscono il settore, il pubblico specifico o il posizionamento competitivo di un’azienda, e producono contenuti generici che, senza una guida esperta, rischiano di essere inutili nel migliore dei casi e dannosi nel peggiore.

Usare l’AI nel modo giusto richiede esperienza

Lo strumento non è il problema. Il problema è come viene usato e da chi.

L’AI è utile quando fa parte di un processo in cui un professionista esperto la guida, la orienta verso obiettivi specifici, interpreta l’output con senso critico e sa dove verificare. In quel contesto, accelera il lavoro senza sacrificarne la qualità.

Diventa un rischio quando viene usata come sostituto del ragionamento, quando l’output viene accettato senza revisione, quando chi la usa non ha le competenze per distinguere un’informazione corretta da una plausibile.

In Addlab lavoriamo con l’AI da quando è diventata uno strumento applicabile in modo concreto ai progetti di digital marketing, branding e sviluppo di contenuti. Abbiamo imparato sulla nostra pelle dove aiuta davvero, dove tende a sbagliare e come costruire processi di revisione che permettono di sfruttare la velocità dell’AI senza portarne gli errori in produzione.

Se vuoi capire come integrare l’intelligenza artificiale nei processi del tuo business in modo strutturato e responsabile, possiamo fare una call conoscitiva gratuita per analizzare la tua situazione.

Richiedi una consulenza gratuita con il team Addlab

Come si costruisce un processo di controllo efficace

Affidarsi all’AI in modo responsabile non significa usarla di meno. Significa costruire attorno all’output un processo di revisione proporzionato al tipo di contenuto e al rischio che comporta.

Il primo livello è la verifica dei fatti. Ogni numero, ogni nome, ogni studio citato va controllato sulla fonte primaria. Non su altri contenuti AI, non su riassunti di terze parti: sulla fonte originale. Se la fonte non è trovabile, il dato non si usa.

Il secondo livello è la coerenza di contesto. L’AI non conosce il tuo brand, il tuo pubblico, le tue policy di comunicazione o il settore in cui operi. Un testo può essere grammaticalmente corretto, privo di errori fattuali e completamente sbagliato per il tuo contesto specifico. Questa valutazione richiede qualcuno che conosca davvero l’azienda e il mercato in cui opera.

Il terzo livello è la responsabilità editoriale. Quando un contenuto viene pubblicato a nome di un’azienda, quella azienda ne è responsabile. Non l’AI, non la piattaforma che l’ha generato. Se un articolo del blog contiene un’affermazione falsa, le conseguenze ricadono sul brand. ChatGPT ha già una clausola di esclusione di responsabilità che recita esplicitamente “può commettere errori, verificare le informazioni importanti”. Chi pubblica senza verificare sta accettando consapevolmente quel rischio.

Costruire questi livelli di controllo richiede tempo, competenza e un metodo. Non è compatibile con la logica del “l’AI fa tutto da sola”, che produce contenuti che sembrano buoni ma non lo sono, e spesso lo si scopre solo quando il danno è già fatto.