Vi è una frizione epistemologica e metodologica centrale tra l’evoluzione delle architetture informatiche dell’Intelligenza Artificiale e l’impostazione adottata nel volume IA per valutare di Paolo Barabanti.
1. La prospettiva del testo: il prompt come “dispositivo progettuale”
Nel saggio, l’autore limita il proprio raggio d’azione all’interazione conversazionale tramite interfaccia utente (chatbot generalisti quali ChatGPT v. 5.2, Microsoft Copilot e Gemini v. 3). Entro questo perimetro, il prompt viene teorizzato non come un semplice comando formale, ma come una “mediazione cognitiva” e un “dispositivo progettuale” capace di orientare la natura probabilistica del modello.
L’indagine empirica di Barabanti testa otto strategie di prompting (dallo zero-shot libero al few-shot guidato, integrando i modelli PARTS e AIPROMT). L’ipotesi dell’autore è che l’aumento della strutturazione delle istruzioni nel prompt sia sufficiente a ridurre l’entropia della risposta e a incrementare la qualità docimologica degli output.
2. Il limite del paradigma: l’assenza di strutturazione agentica e skills
L’obiezione sulla parzialità del solo prompting trova piena conferma proprio nei risultati empirici presentati nel libro:
- Persistenza dell’entropia e non-determinismo: Il testo documenta un’elevata variabilità intra-modello. A parità di prompt ben strutturato, lo stesso LLM genera risposte qualitativamente difformi tra tentativi successivi.
- Fragilità docimologica: Sebbene la strutturazione del prompt migliori l’aderenza formale, gli LLM continuano a produrre errori sistematici (mancanza di indipendenza tra item, distrattori non omogenei, rubriche con progressioni non lineari).
- Ignorato il livello architetturale: L’approccio del testo tratta l’LLM esclusivamente come un oracolo testuale con cui “dialogare”. Viene del tutto ignorata la possibilità di incapsulare l’LLM in architetture a skills, flussi agentici, system instructions vincolanti, function calling e ambienti di esecuzione o prototipazione controllata (RAG, sandboxing).
Mentre la ricerca tecnologica attuale mostra che l’indirizzamento e la riduzione delle “zone oscure” (opacità algoritmica) si ottengono sottraendo gradi di libertà al modello tramite la definizione di skills rigide, vincoli di output strutturato (es. JSON schema) e strumenti esterni, il volume rimane ancorato alla sola dimensione della Prompt Literacy abbinata alla Assessment Literacy del docente. L’autore accenna soltanto nelle conclusioni alla futura necessità di “sistemi generativi verticali e specializzati”, senza tuttavia analizzarne le dinamiche strutturali di prototipazione.
Note Critiche & Pattern Ricorrenti
- Topos del “Prompt Engineering” come panacea: Il libro riflette un bias ricorrente nella saggistica di settore educazionale (Artificial Intelligence in Education – AIED), ossia la tendenza a sovrastimare la capacità del prompting conversazionale di governare un sistema stocastico. La pretesa di “addomesticare il caos generativo” tramite sole istruzioni testuali si scontra con la natura intrinsecamente probabilistica degli LLM.
- Scarto tra teoria dell’autonomia e prassi della delega: Il testo rivendica la centralità della responsabilità professionale non delegabile del docente. Tuttavia, proponendo il prompting come unico strumento operativo anziché l’integrazione di skill e flussi di prototipazione strutturata, sovraccarica l’utente del compito di effettuare continui e dispendiosi “stress-test” manuali e validazioni a posteriori su output instabili.
- Aderenza al conformismo della “conversazione” col chatbot: L’impostazione metodologica riflette un adeguamento alla narrativa commerciale che riduce l’IA alla finestra di chat, ignorando la dimensione dello sviluppo software agentico dove l’LLM opera come mero motore computazionale guidato da skill e protocolli deterministici.
Glossario Plain Language
| Termine | Spiegazione Piano-Linguistica |
|---|---|
| Prompting / Prompt Engineering | L’arte di scrivere istruzioni in linguaggio naturale per guidare la risposta di un modello linguistico. |
| Skill (Agentica) | Modulo d’istruzioni e strumenti definiti a livello di sistema che estende le capacità dell’IA, vincolandone le azioni e le regole operative prima dell’interazione con l’utente. |
| Variabilità Intra-Modello | La tendenza dell’IA a generare risposte diverse e incoerenti quando si ripete esattamente la stessa domanda. |
| Opacità Algoritmica (Black Box) | L’impossibilità di ricostruire il percorso logico-matematico attraverso cui l’IA è giunta a produrre un determinato risultato. |
| Prototipazione Strutturata | La costruzione di flussi di lavoro in cui l’IA è integrata con regole rigide, schemi di dati e strumenti esterni per garantirne la stabilità. |
Il corpus metodologico e concettuale citato nel volume IA per valutare di Paolo Barabanti si articola su quattro livelli principali: modelli di inquadramento dell’IA, framework per la composizione del prompt, strategie operative di prompting e metodologie docimologiche di valutazione.
1. Modelli Teorici per l’Integrazione dell’IA e dell’AI Literacy
- Modello SAMR (Puentedura): Inquadra l’impatto della tecnologia sulle pratiche didattiche e valutative lungo un continuum evolutivo a quattro livelli: Sostituzione e Aumento (fase di potenziamento, in cui l’IA automatizza o velocizza compiti tradizionali) affiancati da Modificazione e Ridefinizione (fase di trasformazione, in cui l’IA consente la riprogettazione delle pratiche e abilita forme di valutazione continua e adattiva altrimenti inaccessibili).
- Artificial Intelligence Assessment Scale – AIAS (Perkins et al., Pegrum et al.): Scala descrittiva su cinque livelli (1. No AI, 2. AI Planning, 3. AI Collaboration, 4. Full AI, 5. AI Exploration) ideata per chiarire e comunicare il grado di legittimità dell’uso dell’IA generativa sia da parte degli studenti nello svolgimento dei compiti, sia da parte dei docenti nella progettazione delle prove e dei feedback.
- Framework di AI Literacy (Ng et al., Ranieri et al.): Modello concettuale quadripartito che definisce l’alfabetizzazione critica all’IA attraverso le dimensioni cognitiva (comprensione dei meccanismi di base), operativa (capacità d’uso efficace degli strumenti), critica (valutazione degli output e co-creazione) ed etica (consapevolezza di privacy, opacità e bias).
- Tassonomia di Bloom rivisitata (Anderson & Krathwohl): Classificazione dei sei processi cognitivi (ricordare, comprendere, applicare, analizzare, valutare, creare) impiegata per operativizzare gli obiettivi di apprendimento e verificare l’allineamento cognitivo degli item generati.
2. Modelli di Architettura e Composizione del Prompt
- Modello PARTS (Google): Schema di strutturazione che scompone il prompt in cinque dimensioni vincolanti: Persona (ruolo/expertise del modello), Act (azione richiesta tramite verbi operativi), Recipient (destinatario), Theme (ambito disciplinare) e Structure (formato di output).
- Modello AIPROMT (Korzynski et al.): Protocollo operativo focalizzato sulla gestione iterativa dell’interazione con l’LLM, articolato in sette raccomandazioni: Articulate (esplicitare il compito), Indicate (segnalare dove si trovano input e output), Provide (fornire ruolo e contesto), Refine (raffinare le istruzioni per evitare ambiguità), Offer (offrire esempi), Manage (gestire l’interazione critica) e Track (monitorare la complessità).
- Framework di Eager & Brunton: Scomposizione funzionale del prompt basata sull’equilibrio tra sei componenti: Verbo, Focus, Contesto, Focus e condizione, Allineamento agli obiettivi e Vincoli/limitazioni.
- Componenti di Giray / DAIR.AI: Modello analitico essenziale basato sulla distinzione tra Istruzioni, Contesto, Dati di ingresso e Prodotto/Formato.
3. Strategie di Prompting Oggetto della Ricerca Empirica
L’indagine empirica del testo manipola due variabili — presenza/assenza di esempi e livello di strutturazione delle regole — testando otto strategie principali:
- Zero-shot (Libero e Strutturato): Richiesta priva di esempi; la variante strutturata integra vincoli espliciti su formato, numero di item e regole docimologiche.
- One-shot (Dimostrativo, Fuorviante, Contro-esemplificativo, Guidato): Inserimento di un singolo esempio (corretto, errato ma presentato come valido, errato dichiarato esplicitamente come contro-esempio, oppure corretto affiancato da regole operative).
- Few-shot (Dimostrativo e Guidato): Somministrazione di una pluralità di esempi (da due a cinque) per attivare l’apprendimento per analogia, integrati o meno da vincoli strutturali.
- Tecniche ad alta complessità (CoT, Self-Consistency, ToT): Chain-of-thought (esplicitazione sequenziale dei passaggi di ragionamento), Self-consistency (generazione e confronto di più catene di ragionamento indipendenti) e Tree-of-thoughts (esplorazione ad albero di percorsi alternativi simulando un dibattito tra esperti).
4. Metodologie e Tipologie di Strumenti Valutativi Analizzati
Barabanti applica la validazione empirica a sei tipologie di prove, valutandole mediante principi generali (esattezza, validità, pertinenza, non ambiguità) e avvertenze secondarie (plausibilità dei distrattori, omogeneità, assenza di indizi involontari, indipendenza tra item):
- Item Vero/Falso: Quesiti a struttura dicotomica per i quali l’IA evidenzia forte criticità nel mantenere l’indipendenza tra gli item e la proporzionalità della chiave di correzione.
- Item a Scelta Multipla Semplice (Choice): Domande a opzioni vincolate che mostrano la qualità media più elevata, pur risentendo di frequenti disomogeneità sintattico-semantiche tra i distrattori e imprecisioni nelle risposte inferenziali.
- Item di Matching Univoco: Corrispondenze tra insiemi che soffrono spesso di un appiattimento della validità quando l’IA introduce indizi facilitatori o omette la disomogeneità numerica tra le colonne.
- Item a Domanda Aperta Univoca: Quesiti a risposta breve minati dalla tendenza dei modelli a formulare domande ad ampiezza descrittiva o riassuntiva anziché vincolate a un unico responsum.
- Item di Cloze Guidato: Testi a completamento vulnerabili a incongruenze tra il riquadro delle parole e le lacune, o alla presenza di indizi grammaticali che permettono la risoluzione per mera intuizione sintattica.
- Rubriche Valutative Analitiche: Griglie multidimensionali in cui i modelli generano con facilità la struttura formale (dimensioni, livelli, descrittori), ma falliscono frequentemente nel garantire la linearità progressiva e la distinzione comportamentale tra livelli contigui.
Note Critiche & Pattern Ricorrenti
- L’asimmetria tra forma apparente e sostanza docimologica: Il materiale evidenzia come la GenIA sia un eccellente simulatore di “forme editoriali” (strutture di test, tabelle di rubriche, elenchi ordinati), ma difetti strutturalmente di rigore docimologico. L’illusione di correttezza derivante da una sintassi fluida nasconde “vizi docimologici algoritmici” (es. indizi involontari, distrattori deboli, risposte non univoche).
- Riduzionismo metodologico e inflazione dei framework: La saggistica di settore ricorre a una proliferazione di acronimi e schemi formali (PARTS, AIPROMT, SAMR, AIAS, UDL, 5V) per tentare di codificare l’interazione con l’LLM. Tale impostazione tradisce la pretesa di “ingegnerizzare” un sistema stocastico tramite vincoli linguistici, ignorando che l’entropia del modello (variabilità intra-modello) ripresenta incoerenze anche a parità di prompt guidato.
- Il paradosso dell’efficienza e il carico della validazione: Il testo ammette implicitamente un cortocircuito metodologico: il tempo risparmiato delegando all’IA la bozza della verifica viene in larga parte riassorbito dal dispendioso lavoro di audit, comparazione e correzione manuale che il docente deve condurre per evitare di somministrare prove invalide o discriminatorie.
Glossario Plain Language
| Termine | Spiegazione Piano-Linguistica |
|---|---|
| Zero-shot / Few-shot | Modalità di interrogazione dell’IA: zero-shot significa dare un’istruzione senza esempi; few-shot significa fornire da due a cinque esempi guida per mostrare all’IA la struttura desiderata. |
| Chain-of-Thought (CoT) | Tecnica di prompting che impone all’IA di mostrare e scrivere i passaggi logici intermedi del proprio ragionamento prima di dare la risposta finale. |
| Tree-of-Thoughts (ToT) | Strategia che forza l’IA a esplorare più ipotesi alternative contemporaneamente, valutando i pro e i contro di ciascuna prima di scegliere la migliore. |
| Distrattore (Docimologia) | Le opzioni di risposta errate inserite in un quesito a scelta multipla; devono essere credibili ma indiscutibilmente false per evitare che si indovini la risposta per esclusione. |
| Item (Docimologia) | Il singolo quesito o domanda all’interno di una prova di verifica. |
| Cloze Guidato | Testo con parole mancanti (lacune) che lo studente deve completare scegliendo da un elenco di termini fornito. |
| Automation Bias | La tendenza cognitiva dell’essere umano ad fidarsi in modo acritico delle risposte fornite da un sistema automatico, riducendo la soglia di controllo umano. |