Aloisi e De Stefano riflettono sull’assunzione algoritmica, uno dei casi di “conclusione oracolare” di un processo decisionale automatizzato:

Molte società, specie quelle di grosse dimensioni, si sono dotate di (…) piattaforme, realizzate in collaborazione con i tanti esordienti del settore, convincendosi che nella ricerca di “talenti” la tecnologia sia molto più affidabile e abbordabile di un cacciatore di teste in giacca e cravatta. La profilazione nella fase pre-assunzione rappresenta un modello sempre più diffuso di reclutamento, e oggi punta anche sulla face and language recognition, in grado di rintracciare emozioni, tratti della personalità e comportamenti. Unilever, grossa multinazionale proprietaria di diversi marchi di prodotti alimentari e d’igiene, chiede ai suoi potenziali addetti alle vendite di rispondere a un numero di interrogativi riprendendosi col cellulare. Il video realizzato viene passato al setaccio da sistemi di intelligenza artificiale che hanno “in pancia” tutte le interviste che in passato hanno portato alla scelta. La valutazione si basa sulla mimica (sorrisi, sguardi, tremolii), ma anche sull’uso di verbi alla forma passiva, sulla prevalenza del pronome personale “io” sul “noi”, sulla scelta delle parole, sull’uso dell’ipotassi e sulla lunghezza delle frasi. Con gravi rischi per quanti non incarnano il modello convenzionale. Il meccanismo vale anche per i lavoratori autonomi che un tempo si arruolavano consultando le pagine gialle e che oggi si ingaggiano dopo aver passato in rassegna un catalogo di contrattisti su vetrine virtuali, zeppe di informazioni, recensioni e referenze con servizi come Smarterer (…)

il modello algoritmico non sempre annulla le imperfezioni informative che gli economisti definiscono “frizioni”. Il filtraggio è affidato a una scatola nera che colleziona informazioni, elabora statistiche e sputa sentenze sulla base di parole chiave scovate nei curricula caricati online (…) raccolti da varie fonti, dentro e fuori il posto di lavoro: numero di battiture sulla tastiera, quantità e durata delle telefonate, lista dei siti internet visitati durante l’orario di lavoro, tono e contenuto delle conversazioni tra colleghi, ma anche elenco dei posti visitati deducibile per mezzo della geolocalizzazione e delle condivisioni attraverso i profili personali sui social media. Se si aggiungono le potenzialità del natural language processing (…), si ottiene una rappresentazione iperdettagliata, che include caratteristiche personali probabilmente ignote allo stesso candidato. (…)

A ben vedere, il generale divieto di processi decisionali unicamente automatizzati è accompagnato da una lista di eccezioni non trascurabili. La profilazione o la gestione algoritmica sono ammesse: a) se necessarie per la conclusione o l’esecuzione di un contratto tra l’interessato e un titolare del trattamento; b) se autorizzate dal diritto dell’Unione o dello Stato membro cui è soggetto il titolare del trattamento, che precisa altresì misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell’interessato; c) se basata sul consenso esplicito dell’interessato. Evidentemente, nel terzo e nel primo caso (che individua anche la fattispecie di un rapporto di lavoro), il titolare del trattamento è tenuto ad attuare misure appropriate per tutelare i diritti, le libertà e i legittimi interessi dell’interessato, «almeno il diritto di ottenere l’intervento umano, di esprimere l’opinione [dell’interessato] e di contestare la decisione». Vi è la possibilità di derogare al divieto solo in presenza di consenso espresso, che tuttavia non è una base sufficiente nel contesto del rapporto di lavoro, per via della disparità di potere negoziale, o anche nel caso di moduli che riportino condizioni standardizzate.

È d’altra parte significativo che il Regolamento [GDPR, NdR] abbia fissato un limite invalicabile, rappresentato dal principio percui le decisioni algoritmiche, anche quelle ammesse, non possano essere basate su dati sensibili (salute, orientamento sessuale, opzioni ideologiche e sindacali, appartenenze etniche), a meno che non sia l’interessato ad acconsentire o che il trattamento sia necessario per motivi di interesse pubblico. In questi casi vanno adottate misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell’interessato. Per quanto riguarda il lavoro, il GDPR è apprezzabile per il ruolo preminente che affida alla “sovranità collettiva” dei dati personali: agli Stati membri è data facoltà di prevedere, per mezzo di leggi o contratti collettivi, «norme più specifiche per assicurare la protezione dei diritti e delle libertà con riguardo al trattamento dei dati personali dei dipendenti nell’ambito dei rapporti di lavoro, in particolare per finalità di assunzione, esecuzione del contratto di lavoro» (art. 88). Troppo spesso, tuttavia, gli interpreti sottostimano la portata di certe tecnologie, specie di quelle legate all’utilizzo dei dati personali. Vi è come l’impressione che, proprio in questo settore, un’interpretazione “analogica” (in tutti i sensi) delle regole approntate in un passato neanche troppo lontano sia oggi un’arma spuntata al cospetto di un attacco tanto efferato alle sfere privata e professionale. Nonostante i filtri senz’altro positivi legati al principio della minimizzazione, del rispetto della finalità e della proporzionalità, lo stesso Regolamento europeo corre il rischio di una fulminea obsolescenza, proprio in ragione delle nuove sfide rappresentate dalla tutela dei dati personali negli ecosistemi in cui operino apparati di intelligenza artificiale e machine learning. Sandra Wachter, giurista in forza all’Oxford Internet Institute, ha mosso una critica al GDPR che, a suo dire, si concentrerebbe sull’innesco, vale a dire sul momento della raccolta dei dati, ma non abbastanza su quello dell’elaborazione. Una volta ottenuti legittimamente, nessun limite sarebbe imposto all’analisi inferenziale – la funzione attraverso cui gli algoritmi sono in grado di estrarre schemi ricorrenti a partire da grandi quantità di dati, che resterebbe una terra di nessuno. In realtà, ci sono ottimi argomenti per sostenere il contrario: è assurdo limitare la raccolta di dati, che si basa su fatti certi (ad esempio il fatto che una persona compri molto junk food), e non limitare le “deduzioni” che gli algoritmi traggono da questi dati (ad esempio, predire un certo stato di salute di quella stessa persona). Il Comitato europeo per la protezione dei dati ritiene, quindi, che le inferenze siano coperte dal GDPR. Il fatto che se ne debba discutere, però, solleva più di un dubbio su quanto il legislatore europeo si sia reso conto dei rischi che derivano dalle deduzioni degli algoritmi.