Segregazione statistica

Come ci ricordano Aloisi e De Stefano:

Tra stereotipi, discriminazioni radicate e pregiudizi dei programmatori che trapelano nei software, i membri di gruppi sociali svantaggiati finiscono perennemente esclusi dai ruoli in cui oggi persone con caratteristiche affini sono presenti in numero ridotto (…) in un gorgo di segregazione per mano statistica (…) in settori come quello sanitario, assicurativo, e persino nell’amministrazione della giustizia. Proprio imparando dal passato (dalle serie storiche che registrano le decisioni pregresse), questi congegni continuano a reiterare scelte inique, o a definire nuovi livelli di ingiustizia, infondatezza e distorsione: un errore a cui non si è posto rimedio funge da base per un futuro provvedimento errato. La discriminazione diventa quindi un’opzione di design, come ha spiegato la giurista Ifeoma Ajunwa (…): è sufficiente bloccare gli anni di nascita in un menù a tendina di un sito web per escludere intere coorti anagrafiche, o usare i filtri di Facebook per indirizzare un certo annuncio di lavoro a un pubblico che ha una forte somiglianza con il resto della compagine aziendale, oppure – ancora – stilare in un certo modo i quesiti sugli studi universitari o sulla progressione di carriera per osteggiare le donne (che potrebbero avere curricula più discontinui per via di una gravidanza, ad esempio). Se c’è una cosa in cui gli algoritmi sono davvero imbattibili è la capacità di introiettare pregiudizi legati all’identità di genere, all’orientamento sessuale e all’origine etnica: se i dati forniti sul passato riflettono pratiche discriminatorie, saranno discriminatori anche i risultati. Come ha scritto Giorgio Resta, si finisce così per cristallizzare soluzioni e predizioni all’interno delle griglie fornite dai trascorsi storici e dal set di valori che ha guidato la programmazione del sistema.
Accanto a queste operazioni di carattere abusivo si stagliano processi inconsapevoli, quindi meno controllabili, legati a interpretazioni errate di alcuni dati. Se, per esempio, le statistiche sulla frequenza degli incidenti d’auto dovessero indicare il centro città come una zona “calda” a causa del traffico e del marasma che ne deriva, il solo fatto di risiedere in quella parte di città porterebbe a dover pagare un premio assicurativo più alto. È ciò che accade in molte metropoli, specie fuori dall’Europa, dove il centro è spesso occupato da minoranze che non possono permettersi di vivere nelle zone residenziali. Evidentemente, gli algoritmi delle società di assicurazioni non sono stati programmati al fine di discriminare i membri di comunità minoritarie. Tuttavia, l’associazione apparentemente neutrale dei dati produce un risultato discriminatorio. (…). La ricercatrice Virginia Eubanks ha dettagliato come l’elemento chiave sia[no] spesso l’assenza di flessibilità e l’impossibilità di ottenere spiegazioni (…)
Molte società, specie quelle di grosse dimensioni, si sono dotate di (…) piattaforme, realizzate in collaborazione con i tanti esordienti del settore, convincendosi che nella ricerca di “talenti” la tecnologia sia molto più affidabile e abbordabile di un cacciatore di teste in giacca e cravatta. La profilazione nella fase pre-assunzione rappresenta un modello sempre più diffuso di reclutamento, e oggi punta anche sulla face and language recognition, in grado di rintracciare emozioni, tratti della personalità e comportamenti. Unilever, grossa multinazionale proprietaria di diversi marchi di prodotti alimentari e d’igiene, chiede ai suoi potenziali addetti alle vendite di rispondere a un numero di interrogativi riprendendosi col cellulare. Il video realizzato viene passato al setaccio da sistemi di intelligenza artificiale che hanno “in pancia” tutte le interviste che in passato hanno portato alla scelta. La valutazione si basa sulla mimica (sorrisi, sguardi, tremolii), ma anche sull’uso di verbi alla forma passiva, sulla prevalenza del pronome personale “io” sul “noi”, sulla scelta delle parole, sull’uso dell’ipotassi e sulla lunghezza delle frasi. Con gravi rischi per quanti non incarnano il modello convenzionale. Il meccanismo vale anche per i lavoratori autonomi che un tempo si arruolavano consultando le pagine gialle e che oggi si ingaggiano dopo aver passato in rassegna un catalogo di contrattisti su vetrine virtuali, zeppe di informazioni, recensioni e referenze con servizi come Smarterer, solo per citarne uno.

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo di WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione /  Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione /  Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione /  Modifica )

Connessione a %s...