Artificialità dello status quo e altri punti critici della predittività statistica

Numerico è netta

Possiamo individuare (…) alcuni punti critici che sottendono al funzionamento della predizione algoritmica basata su criteri probabilistici riferiti all’interpretazione dei dati del passato. Proiettare il passato sul futuro significa presumere che le situazioni non cambino, e che se qualcuno ha commesso uno sbaglio o ha una cattiva abitudine con-tinuerà ad libitum. Prescrive, inoltre, che il contesto sociale e materiale dal quale emergono queste caratteristiche sia stabile e immutabile e non sia il frutto di processi storici e possa modificarsi nel tempo – una sorta di cattura del futuro da parte del passato. Considerare lo status quo come inevitabile giustifica una visione conservatrice della società. Fotografare il presente come immutabile è una pratica parziale e omissiva, ma è irriducibilmente usata nel machine learning. Le inferenze sui grandi dati mirano anche a costruire meccanismi di classificazione attraverso l’identificazione di caratteristiche categoriali da attribuire a tutto il gruppo dei componenti di un certo cluster. È una pratica propria del marketing: definire gruppi di con-sumatori da alcuni loro attributi e poi orientare i messaggi alle preferenze che vengono in-ferite dalla loro condizione. Se spostiamo questa pratica epistemica fuori dal contesto del marketing, abbiamo un potenziale molto preoccupante in termini di discriminazione (…( a capacità di creare cluster e costruire processi di astrazione è al cuore della ricerca delle correlazioni propria dei sistemi di machine learning e delle conseguenti proiezioni probabilistiche ai fini di previsioni future. (…) Per evitare gli effetti discriminatori delle valutazioni oc-correrebbe, invece, costruire la massima collegialità dell’i-stanza decisionale che includa tutte le soggettività che subiranno le conseguenze delle decisioni, soprattutto nel caso in cui le loro conseguenze pesino sui loro diritti. Un altro elemento decisivo per l’equità delle decisioni sarebbe accogliere la discrezionalità e rendere trasparenti le fasi in cui la singolarità delle situazioni viene considerata e quali siano i criteri adottati per l’intervento relazionale e decisionale, offrendo la massima trasparenza e anche degli spazi di revisione da parte di chi si sentisse discriminato. Le regole devono essere esplicite, interpretabili. Tutte caratteristiche che i sistemi di IA non garantiscono quando esercitano procedure predittive che preludono alla decisione: siano esse relative al supporto alla deliberazione, alla generazione o al riconoscimento di contenuti. (T. Numerico, “I dati che discriminano”, in Jacobin Italia 23/2024)