Spiega Chiriatti:

L’IA è (…) una creatrice di regole, seguendo le quali costruisce una sua rappresentazione del mondo. Ma lo fa in modo irresponsabile. Tutto il lavoro di apprendimento culmina in un risultato che ha del misterioso, proprio come quelli degli alchimisti. (…) [In modo analogo agisce] l’algoritmo alla base del deep learning che, per ogni dato che analizza, modificando contemporaneamente milioni di parametri dà un risultato inspiegabile. La logica delle poche righe di codice è molto semplice, ma quello che si trova nell’insieme dei dati e il modo in cui viene interpretato dalle reti neurali risulta inspiegabile. Avremmo dunque bisogno di un bugiardino per gli algoritmi, così come ne abbiamo per i farmaci, al fine di conoscere posologia e controindicazioni. Per il momento proveremo a spiegare, anche se solo superficialmente, come calcola l’algoritmo e quali rischi non tiene in considerazione. L’IA può impiegare alcune tecniche che ne rendono opaco l’effettivo funzionamento: per questo si parla di “scatola nera”, perché accanto ai risultati non sono fornite spiegazioni. Quando leggiamo di una particolare implementazione dell’IA chiamata deep learning, si intende una rete di migliaia di neuroni simulati (nel senso che sono ispirati al funzionamento di un neurone biologico, ma ne costituiscono un’estrema semplificazione), disposti in strati interconnessi. I neuroni nel primo strato ricevono ciascuno un input ed eseguono un calcolo prima di emettere un nuovo segnale. Questi output alimentano, in una rete complessa, i neuroni del livello successivo e così via, fino a quando non viene prodotto un output complessivo. I numerosi strati in una rete profonda consentono di riconoscere gli oggetti, associandoli a categorie a diversi livelli di astrazione. In un sistema progettato per riconoscere i volti, ad esempio, alcuni strati riconoscono elementi più semplici come contorni o colori; altri, invece, elementi più complessi come la pelle o gli occhi; infine, il livello finale identifica tutto come un volto umano. Quest’ultimo strato della rete neurale è tipicamente un classificatore, che serve a concretizzare in un segnale comprensibile il lavoro svolto dai livelli precedenti. Se interrogassimo ogni singolo nodo al centro della rete avremmo come risposta una serie di numeri, perché in queste aree il lavoro avviene a un livello sub-simbolico. Ci sono tantissimi nodi che cambiano continuamente stato, e nessuno di essi preso singolarmente può aiutarci a capire come viene riconosciuta una certa immagine. Quando il risultato dell’apprendimento profondo determina correttamente cosa è raffigurato in un’immagine, la nostra impressione è che la macchina abbia avuto un’intuizione, un po’ come il Sistema 1, che non è in grado di spiegare perché ha raggiunto quella conclusione. (..) Ciò che accade dentro la black box è un paradosso, perché le previsioni sono verificabili ma non è possibile comprendere come siano state ottenute. Come si è arrivati a determinare quale sia l’oggetto rappresentato in milioni di immagini con miliardi di pixel analizzati da milioni di neuroni con miliardi di connessioni è per noi impossibile da comprendere. Quando qualcosa non va per il verso giusto, noi ci assumiamo la colpa, oppure la diamo a qualche fenomeno naturale (il meteo), oppure a qualche fenomeno sociale (la mancata collaborazione altrui). Ma se sbaglia l’IA, e sappiamo che è previsto che sbagli, a chi diamo la colpa? Non sono chiare le quote di responsabilità di chi l’ha prodotta, chi l’ha allenata e chi l’ha impiegata. (…) A onor del vero, oltre alle ragioni tecniche, dietro la scatola nera ce ne sono anche alcune politiche. La scatola può infatti risultare nera non solo per l’inumana complessità dei calcoli,94 ma anche perché talvolta viene appositamente opacizzata, così da proteggerne il segreto e dunque il valore commerciale. Il pubblico spesso è tenuto all’oscuro perché altrimenti si svelerebbero le scelte controverse, o la semplicità di calcolo, dietro ciò che viene venduto come un “sistema di Intelligenza Artificiale”. Anche se lo strumento lavora in modo oscuro, noi abbiamo il dovere di scegliere il fine, che deve essere sempre trasparente. Pertanto, come nel caso dei nostri cervelli biologici, per spiegare il comportamento dell’IA siamo costretti a confrontarci con questioni sia di “natura”, ossia su come sono costruiti gli algoritmi, sia di “cultura”, ossia sui dati in input. Dobbiamo essere onesti e precisi nell’uso del linguaggio e non autoingannarci dicendo che l’IA attuale, in alcune sue implementazioni, può spiegarci “come ha deciso”. (M. Chiriatti, “Incoscienza artificiale. Come fanno le macchine a prevedere per noi”)