Questo documento sintetizza i risultati di uno studio approfondito sugli impatti cognitivi e pratici dell’utilizzo di Large Language Models (LLM) come ChatGPT nel contesto educativo della scrittura di saggi. Lo studio ha confrontato tre gruppi di partecipanti: uno che utilizzava un LLM (GPT-4o), uno che utilizzava un motore di ricerca tradizionale (Google) e uno che si affidava unicamente alle proprie conoscenze (“Brain-only”). L’analisi ha integrato dati neurofisiologici (EEG), analisi del linguaggio naturale (NLP) dei saggi prodotti e interviste post-valutazione.

I risultati principali rivelano un significativo “costo cognitivo” associato all’uso degli LLM. I partecipanti del gruppo LLM hanno mostrato una marcata riduzione della capacità di ricordare e citare correttamente i propri saggi, un senso di proprietà frammentato sul testo prodotto e pattern di connettività neurale indicativi di un minore sforzo cognitivo e di un ridotto impegno nei processi di pensiero critico e di codifica della memoria (fenomeno noto come “scarico cognitivo”). Al contrario, il gruppo Brain-only ha dimostrato una maggiore connettività neurale in tutte le bande di frequenza, correlata a una più profonda elaborazione semantica, a un maggiore sforzo di memoria e a un forte senso di appartenenza al proprio lavoro.

L’analisi NLP ha evidenziato come l’uso di LLM tenda a omogeneizzare il contenuto e lo stile dei saggi, rendendoli più simili tra loro e a una risposta AI standard, mentre i saggi del gruppo Brain-only mostravano una maggiore diversità lessicale e concettuale. Una sessione di follow-up (Sessione 4), in cui i gruppi sono stati scambiati, ha suggerito che l’uso precedente di LLM può avere effetti duraturi, portando a uno sforzo neurale meno coordinato e a una persistente tendenza a riutilizzare il vocabolario specifico dell’AI anche quando si scrive senza assistenza. Questi risultati sollevano importanti questioni sulle implicazioni a lungo termine della dipendenza dagli strumenti di IA per lo sviluppo delle capacità cognitive e critiche.

——————————————————————————–

1. Panoramica e Metodologia dello Studio

Obiettivo e Disegno Sperimentale

Lo studio mirava a indagare il costo cognitivo dell’utilizzo di un LLM durante la scrittura di un saggio, un compito cognitivamente complesso che coinvolge memoria, organizzazione e pensiero critico.

Partecipanti e Gruppi: Sono stati reclutati 54 partecipanti, divisi in tre gruppi da 18 persone ciascuno:

1. Gruppo LLM: Poteva utilizzare esclusivamente GPT-4o di OpenAI.
2. Gruppo Search Engine: Poteva utilizzare qualsiasi sito web tramite motori di ricerca (principalmente Google), con il divieto esplicito di usare LLM.
3. Gruppo Brain-only: Non poteva utilizzare alcuno strumento esterno, basandosi solo sulle proprie conoscenze.

Struttura delle Sessioni:

• Sessioni 1, 2, 3: Ciascun partecipante ha scritto un saggio per sessione (per un totale di tre saggi), rimanendo nel gruppo assegnato. Ai partecipanti veniva data la possibilità di scegliere tra 3 diversi spunti (prompt) per saggi di tipo SAT.
• Sessione 4: Un sottogruppo di 18 partecipanti è stato richiamato. Ai partecipanti del gruppo LLM è stato chiesto di scrivere senza strumenti (diventando LLM-to-Brain), mentre a quelli del gruppo Brain-only è stato chiesto di usare l’LLM (diventando Brain-to-LLM). Gli spunti offerti erano personalizzati, basati sui temi che ogni partecipante aveva già affrontato nelle sessioni precedenti.

Metodi di Raccolta e Analisi dei Dati

Per ottenere una comprensione olistica, sono state impiegate diverse metodologie:

• Elettroencefalografia (EEG): Per misurare l’attività cerebrale e analizzare i pattern di connettività neurale (utilizzando la funzione di trasferimento diretto dinamico, dDTF) durante il compito di scrittura.
• Analisi del Linguaggio Naturale (NLP): Per esaminare quantitativamente e qualitativamente i saggi, analizzando metriche come il Riconoscimento di Entità Nominate (NER), l’analisi degli n-grammi, la distanza semantica (cosine distance) e la struttura ontologica.
• Interviste Post-Valutazione: Per raccogliere dati comportamentali e qualitativi sulla percezione del compito, il senso di proprietà del saggio, la capacità di citazione e la soddisfazione generale.
• Valutazione dei Saggi: I testi sono stati valutati sia da due insegnanti di inglese umani sia da un “giudice AI” sviluppato ad hoc, basandosi su metriche come unicità, contenuto, struttura e stile.

——————————————————————————–

2. Risultati Comportamentali e Percezione dei Partecipanti

Le interviste post-sessione hanno rivelato differenze marcate tra i gruppi, in particolare per quanto riguarda la memoria e il senso di appartenenza al proprio lavoro.

Capacità di Citazione e Codifica della Memoria

La differenza più significativa è emersa nella capacità dei partecipanti di citare una frase dal proprio saggio.

• Gruppo LLM: Nella Sessione 1, l’83,3% dei partecipanti (15 su 18) non è stato in grado di fornire una citazione corretta. Nessun partecipante (0 su 18) è riuscito a produrre una citazione perfettamente accurata. Questa difficoltà, sebbene attenuata, è persistita nelle sessioni successive.
• Gruppi Search Engine e Brain-only: Solo l’11,1% (2 su 18) di entrambi i gruppi ha avuto difficoltà nella Sessione 1. La loro performance è stata significativamente superiore a quella del gruppo LLM (p < .001).

Questa menomazione nella capacità di citazione suggerisce che l’uso dell’LLM interferisce con i processi di codifica profonda della memoria. I partecipanti del gruppo LLM sembravano integrare passivamente i contenuti generati dall’esterno, senza internalizzarli.

Percezione di Proprietà (Ownership) del Saggio

Anche la percezione di essere l’autore del saggio variava notevolmente.

• Gruppo Brain-only: Ha rivendicato quasi all’unanimità la piena proprietà (16 su 18 nella Sessione 1, saliti a 18 su 18 nella Sessione 3).
• Gruppo LLM: Ha mostrato una percezione frammentata. Alcuni hanno rivendicato la piena proprietà, altri l’hanno negata del tutto, e molti hanno attribuito una proprietà parziale (es. “50/50” o “70% mio”).
• Gruppo Search Engine: Ha mostrato un modello intermedio, con una tendenza alla piena proprietà ma con più casi di proprietà parziale rispetto al gruppo Brain-only.

Questa dissociazione psicologica nel gruppo LLM è coerente con un ridotto senso di agenzia cognitiva, dove la delega della generazione di contenuti a un sistema esterno interrompe i cicli metacognitivi di autovalutazione.

Commenti e Riflessioni dei Partecipanti

• Gruppo LLM: Molti partecipanti hanno apprezzato l’LLM come aiuto linguistico per le transizioni o la correzione grammaticale. Tuttavia, altri hanno definito l’output “troppo robotico” e hanno sentito la necessità di personalizzarlo. Sono emersi anche dubbi etici, con commenti come “sembra di barare”. Un partecipante, al suo primo utilizzo, ha riportato di aver provato una “paralisi da analisi”.
• Gruppo Brain-only: I partecipanti hanno apprezzato l’autonomia, sottolineando l’opportunità di “concentrarsi sui propri pensieri” e “condividere esperienze uniche”.
• Sessione 4: I partecipanti passati dal gruppo LLM al Brain-only hanno preferito il saggio scritto senza AI, notando di aver potuto “elaborare meglio le proprie idee”. Un commento significativo è stato: “In termini di completezza, ChatGPT è meglio, ma in termini di dettaglio, il saggio della Sessione 4 è meglio per me.”

——————————————————————————–

3. Analisi Neurofisiologica (EEG)

L’analisi EEG ha rivelato architetture cognitive distinte attivate dai diversi strumenti.

Pattern di Connettività Neurale per Gruppo

• Gruppo Brain-only: Ha mostrato la connettività neurale più forte e diffusa in tutte le bande di frequenza (Alfa, Beta, Theta, Delta). In particolare, sono state osservate robuste connessioni direzionali da regioni frontali a parietali e da aree visive a prefrontali. Questo indica un elevato impegno in processi interni come il ragionamento astratto, l’ideazione creativa, l’integrazione semantica e l’automonitoraggio esecutivo, in assenza di supporti esterni.
• Gruppo LLM: Ha mostrato la connettività generale più bassa, con un’attività particolarmente ridotta nelle bande Alfa e Theta, associate al controllo attenzionale e all’integrazione semantica. Questa ridotta connettività suggerisce uno “scarico cognitivo”, dove il partecipante bypassa i processi di pensiero profondo, affidandosi all’output dell’IA.
• Gruppo Search Engine: Ha mostrato un profilo intermedio. Si è registrata un’elevata attività nelle cortecce occipitali e visive (banda Alfa), riflettendo l’impegno nell’acquisire e integrare visivamente le informazioni dalla pagina web. Questo indica una strategia ibrida di gestione delle informazioni visive e controllo regolatorio.

Risultati della Sessione 4: Adattamento Neurale e Debito Cognitivo

La Sessione 4 ha fornito le prove più evidenti dell’impatto duraturo degli strumenti AI.

• LLM-to-Brain: I partecipanti che avevano usato l’LLM e poi hanno scritto senza, hanno mostrato uno stato neurale intermedio. La loro connettività non è tornata al livello di un novizio (Sessione 1, Brain-only), ma non ha raggiunto i picchi di un utente esperto Brain-only (Sessione 3). Hanno dimostrato uno “sforzo neurale meno coordinato nella maggior parte delle bande”, suggerendo una possibile “atrofia delle abilità” o un debito cognitivo accumulato. L’abitudine a ricevere supporto dall’IA sembra ridurre la capacità di attivare pienamente le reti neurali per la generazione di idee e il ragionamento analitico.
• Brain-to-LLM: I partecipanti che sono passati da nessun strumento all’uso dell’LLM hanno mostrato un picco di connettività in tutte le bande. Questo suggerisce un elevato carico cognitivo necessario per integrare uno strumento esterno in un flusso di lavoro interno già consolidato, costringendo il cervello a riconciliare i piani interni con i suggerimenti esterni.

——————————————————————————–

4. Analisi del Linguaggio Naturale (NLP)

L’analisi dei testi ha confermato e arricchito i risultati comportamentali e neurali, mostrando come gli strumenti modellino il prodotto finale.

Omogeneità e Distanza Semantica

• Gruppo LLM: I saggi erano linguisticamente più omogenei. La distanza del coseno rispetto a un saggio generato dall’IA per lo stesso prompt era minima, indicando una forte somiglianza. Le visualizzazioni PaCMAP mostrano un cluster denso per i saggi LLM.
• Gruppo Brain-only: I saggi erano significativamente diversi l’uno dall’altro, mostrando un’elevata variabilità lessicale e strutturale. La distanza del coseno rispetto a un saggio IA era maggiore.
• Sessione 4 (LLM-to-Brain): L’analisi PaCMAP ha mostrato che la distanza tra i saggi della Sessione 4 e quelli precedenti dello stesso partecipante era massima per questo gruppo, indicando un cambiamento significativo nello stile di scrittura una volta rimosso lo strumento AI.

Analisi di Entità Nominate (NER) e N-grammi

• NER: Il gruppo LLM ha utilizzato un numero significativamente maggiore di entità nominate (persone, luoghi, opere d’arte, date) rispetto agli altri due gruppi. Ad esempio, nel tema “ART”, l’n-gramma “Matisse” era frequente solo nel gruppo LLM. Questo suggerisce una dipendenza da fatti specifici facilmente recuperabili dall’LLM.
• N-grammi: L’analisi delle frasi ricorrenti ha rivelato orientamenti tematici diversi. Ad esempio, sul tema “HAPPINESS”:
  • LLM: N-grammi dominanti come “choos career” (scegliere la carriera) e “person success” (successo personale).
  • Brain-only: N-grammi come “true happi” (vera felicità) e “benefit other” (beneficiare gli altri).
  • Search Engine: N-grammi come “homeless person” (persona senza fissa dimora) sul tema “PHILANTHROPY”, probabilmente influenzato dalle ottimizzazioni dei motori di ricerca.

Nella Sessione 4, è stato osservato che il gruppo LLM-to-Brain ha riutilizzato n-grammi tipici delle sessioni LLM precedenti (es. “before speaking”), dimostrando un’influenza linguistica persistente.

Analisi dell’Ontologia

La struttura concettuale dei saggi, analizzata tramite grafi ontologici, ha rivelato un’altra chiara divisione:

• Le ontologie dei gruppi LLM e Search Engine erano fortemente correlate, con una sovrapposizione significativa di concetti e relazioni (es. focus su “giustizia” e “innovazione”).
• Il gruppo Brain-only non ha mostrato quasi nessuna intersezione con gli altri due. I suoi saggi si sono concentrati su concetti come “libertà” e “onestà”.

——————————————————————————–

5. Valutazione dei Saggi: Giudice AI vs. Insegnanti Umani

Il confronto tra le valutazioni umane e quelle dell’IA ha rivelato discrepanze significative, evidenziando i limiti degli attuali sistemi di valutazione automatizzata.

• Tendenza del Giudice AI: Il giudice AI tendeva a dare punteggi costantemente alti (intorno a 4 su 5) a tutti i saggi, con una variabilità statistica inferiore.
• Tendenza degli Insegnanti Umani: Gli insegnanti erano più critici, assegnando punteggi mediamente più bassi e mostrando una maggiore variabilità. Erano scettici riguardo all’unicità e al contenuto, notando spesso la “struttura convenzionale e l’omogeneità” dei saggi, che attribuivano (correttamente, ma senza saperlo) all’uso dell’LLM.
• Discrepanze Chiave:
  • Unicità: Il giudice AI ha spesso valutato i saggi del gruppo LLM come molto originali, mentre gli insegnanti umani li hanno penalizzati per la loro prevedibilità.
  • Contenuto: Sul tema “CHOICES”, il contenuto dei saggi LLM è stato valutato positivamente da entrambi, mentre quello dei saggi Brain-only è stato valutato negativamente, suggerendo che l’LLM può produrre contenuti apparentemente superiori, ma al costo cognitivo già discusso.
  • Riconoscimento dello Stile: Gli insegnanti sono stati in grado di identificare stili di scrittura distintivi associati all’uso dell’LLM e persino coerenze stilistiche all’interno dello stesso partecipante, cosa che il giudice AI non è riuscito a fare.

——————————————————————————–

6. Conclusioni e Implicazioni

Lo studio dimostra che, sebbene gli LLM offrano efficienza e supporto nella scrittura, questa convenienza comporta un costo cognitivo misurabile.

• Compromesso Cognitivo: L’uso di LLM è associato a un’elaborazione cognitiva più superficiale, a una ridotta codifica della memoria, a un minor senso di proprietà e a un’omogeneizzazione del pensiero. L’affidamento a questi strumenti può portare a una “atrofia” delle abilità cognitive critiche.
• Implicazioni Educative: I risultati suggeriscono che un’integrazione indiscriminata degli strumenti di IA nell’istruzione potrebbe essere controproducente. Un approccio più equilibrato potrebbe consistere nel ritardare l’introduzione dell’IA fino a quando gli studenti non abbiano sviluppato solide capacità cognitive di base attraverso uno sforzo autonomo. Sfidare gli studenti a eseguire operazioni cognitive fondamentali senza assistenza sembra cruciale per lo sviluppo di reti neurali robuste legate alla scrittura.
• Effetto Echo Chamber e Bias: Lo studio conferma che l’effetto “echo chamber” non scompare con gli LLM, ma si trasforma. Gli utenti sono esposti a contenuti curati algoritmicamente che possono rafforzare i bias presenti nei dati di addestramento.
• Costo Energetico: Oltre al costo cognitivo, viene evidenziato anche il costo ambientale, con una query LLM che consuma circa 10 volte più energia di una query di ricerca, un fattore da non sottovalutare con l’adozione su larga scala.

In sintesi, prima che gli LLM vengano universalmente riconosciuti come un beneficio netto per l’umanità, sono necessari studi longitudinali per comprendere appieno il loro impatto a lungo termine sul cervello umano e sullo sviluppo intellettuale.

—-

---

Nello studio “Your Brain on ChatGPT”, la scrittura senza strumenti esterni (definita condizione “Brain-only” o “Solo-Cervello”) implica una modalità di lavoro in cui i partecipanti devono fare affidamento esclusivamente sulla propria conoscenza, senza alcun ausilio esterno.

Nello specifico, sulla base del protocollo sperimentale:

• Senza Internet: Ai partecipanti di questo gruppo è stato esplicitamente vietato l’uso di qualsiasi sito web o motore di ricerca per la consultazione.
• Senza vocabolario o altri libri: Il protocollo specificava che non era consentito l’uso di alcuno strumento “online o offline” (che include dizionari o testi di riferimento), costringendo i partecipanti a basarsi solo su ciò che già sapevano.
• Senza interlocutori: Per garantire l’isolamento, i ricercatori hanno richiesto ai partecipanti di spegnere e consegnare i propri telefoni cellulari, smartwatch e altri dispositivi prima dell’inizio della sessione, eliminando la possibilità di comunicare con altri.
• Strumenti consentiti: L’unico supporto tecnologico permesso era l’uso delle applicazioni di base per la digitazione installate sul computer fornito (come Pages, Notes o Text Editor) per la stesura fisica del testo.

In sintesi, questa modalità è stata progettata per misurare l’attività neurale quando il cervello deve gestire internamente l’intero carico cognitivo—dalla generazione di idee alla sintassi e al recupero della memoria—senza alcuna “impalcatura” o aiuto esterno.