Parte I: Implicazioni del carattere politico dell’apprendimento automatico e critiche delle proposte esistenti

• La natura politica dell’IA: Le decisioni nella progettazione e nell’uso degli strumenti predittivi sono intrinsecamente politiche, poiché comportano compromessi su chi vince e chi perde e su quali valori vengono rispettati o ignorati. Questo è evidente, ad esempio, nell’Allegheny Family Screening Tool (AFST), dove le scelte sul “risultato negativo” da predire riflettono diverse visioni su come le decisioni di protezione dell’infanzia dovrebbero essere prese. Le implicazioni morali e politiche dell’uso delle predizioni dipendono da una comprensione dettagliata delle realtà istituzionali.
• Problemi legati ai dati:
  • Dati Parziali e Bias: I sistemi di machine learning sono addestrati su set di dati assemblati da esseri umani che riflettono e possono amplificare le disuguaglianze sociali esistenti (es. povertà, razza), rendendo tali disuguaglianze ineluttabili. Ad esempio, l’AFST era addestrato su dati che rappresentavano in modo sproporzionato le famiglie a basso reddito e afroamericane.
  • Codifica Redundante: Anche se gli attributi protetti come la razza o il genere sono esclusi da un modello, altre variabili possono comunque codificare informazioni su tali caratteristiche, portando a risultati che discriminano le classi protette.
  • Predizione Performante: Le previsioni possono influenzare e modellare l’esito stesso che cercano di predire, creando cicli di feedback che alterano il comportamento e le distribuzioni sociali. Nel caso della polizia predittiva, l’invio di più agenti in quartieri considerati “ad alto rischio” porta a un aumento delle registrazioni di crimini, che a sua volta rafforza la previsione iniziale.
• Critica delle soluzioni esistenti:
  • Definizioni Matematiche di Equità: Sebbene aspirino all’uguaglianza, le definizioni matematiche di equità di gruppo (come tassi di errore uguali o calibrazione di sottogruppo) sono matematicamente impossibili da raggiungere simultaneamente quando la variabile target è distribuita in modo disomogeneo tra i gruppi sociali. Questo le rende inadeguate a cogliere le complessità delle disuguaglianze sociali. Possono portare a conseguenze controproducenti, come l’aumento degli arresti per reati minori per raggiungere metriche di equità.
  • Principio di Anticlassificazione: L’idea che i sistemi decisionali debbano essere “ciechi” a caratteristiche protette come razza e genere è una premessa morale fuorviante. Escludere tali tratti dai modelli di machine learning ha spesso poca differenza sull’accuratezza o sull’impatto del sistema sulla ricerca dell’uguaglianza, poiché altre variabili possono fungere da proxy. Questo approccio impedisce una discussione aperta sulla rilevanza morale delle differenze per affrontare gli svantaggi strutturali.
  • La legge sulla discriminazione: La legge sulla discriminazione, particolarmente negli Stati Uniti, è spesso vincolata dal principio di anticlassificazione, il che la rende uno strumento smussato per la giustizia sociale. L’approccio attuale si concentra troppo sull’intento discriminatorio individuale o su spiegazioni tecniche, piuttosto che sugli impatti sistemici e sulla giustificazione istituzionale delle scelte di progettazione.

Parte II: Alternativa Costruttiva per la Governance dell’Apprendimento Automatico

• L’Ideale dell’Eguaglianza Politica: L’eguaglianza politica è l’ideale guida proposto per la governance dell’apprendimento automatico. Questo concetto invita a riconoscere e affrontare attivamente le differenze e gli svantaggi strutturali, giustificando un trattamento differenziato quando necessario per promuovere l’uguaglianza tra i cittadini. Si compone di due idee fondamentali:
  • Non-dominazione: Richiede la rimozione di minacce alle relazioni di uguaglianza, garantendo che i cittadini abbiano un “uguale controllo sulle istituzioni” che influenzano le loro vite.
  • Reciprocità: Richiede un atteggiamento di riconoscimento delle perdite subite da alcuni a causa delle scelte politiche e un impegno a garantire che tali perdite non siano permanenti, promuovendo una circolazione delle perdite tra la cittadinanza nel tempo.
• Doveri Positivi di Uguaglianza (PEDs): In contrasto con l’anticlassificazione, i PEDs permettono o richiedono l’uso esplicito di caratteristiche protette in contesti definiti, quando ciò è dimostrato avanzare l’uguaglianza tra gruppi svantaggiati e non svantaggiati. Questo è visto non come una deviazione dall’uguaglianza, ma come parte integrante della sua realizzazione, specialmente in società segnate da una storia di disuguaglianze.
• Le Utilità Democratiche: Viene proposta una nuova categoria di corporazioni chiamate “utilità democratiche”. Sono definite come corporazioni il cui controllo unilaterale su infrastrutture vitali modella le condizioni di auto-governo collettivo.
  • Potere Infrasstrutturale Distintivo: A differenza delle utilità tradizionali (es. ferrovie), il potere di Facebook e Google risiede nella progettazione di sistemi di classificazione basati su machine learning che impongono una scarsità artificiale sull’abbondanza di informazioni, dirigendo l’attenzione umana e modellando le preferenze e i desideri dei cittadini.
  • Principi per la Regolamentazione: La regolamentazione dovrebbe essere guidata da principi che orientano la progettazione di questi sistemi verso una sfera pubblica sana e un ecosistema informativo civico resiliente. Tali principi includono:
    • Anticorruzione: I sistemi dovrebbero dare priorità all’interesse pubblico rispetto al guadagno privato, ad esempio attraverso firewall strutturali che separano i sistemi di classificazione da quelli pubblicitari.
    • Diversità: I sistemi dovrebbero promuovere una diversità di voci e valori attraverso incontri serendipi tra i cittadini.
    • Esperienza Condivisa: I sistemi dovrebbero forgiare un’esperienza condivisa attraverso un’architettura civica dell’informazione.
• Un Nuovo Quadro di Accountability:
  • Giustificazione Istituzionale > Spiegazione Tecnica: Invece di richiedere spiegazioni tecniche complesse sul funzionamento interno dei modelli di machine learning, la responsabilità dovrebbe concentrarsi sulla giustificazione delle scelte concrete di progettazione che incorporano valori e interessi.
  • Governance Partecipativa Potenziata: La regolamentazione dovrebbe includere meccanismi di governance partecipativa che coinvolgano attori della società civile, esperti e organismi pubblici. Viene proposta la creazione di una nuova Agenzia per le Piattaforme di IA (APA), con il compito di sviluppare tali meccanismi, inclusi citizen assemblies e mini-publics, per garantire un dibattito continuo e un’innovazione democratica nella progettazione dei sistemi di machine learning.