Cristianini chiarisce:

[Possiamo immaginare] l’applicazione a problemi di governance di una tecnologia che è diventata standard nel settore privato: la compilazione di punteggi, per aziende o perfino singoli professionisti, sulla base del feedback dei loro clienti (rating). Per esempio, dopo avere usato un ristorante, un hotel o avere ricevuto una consegna, spesso ci viene chiesto di «dare un voto» al fornitore. L’aggregazione di tutti questi voti porta a ottenere un punteggio che è considerato un surrogato (proxy) della reputazione di un’azienda o una persona, con l’intenzione che questo influenzi le scelte di potenziali clienti. (…) Così come per i sistemi di raccomandazione, anche per i sistemi di gestione della reputazione non c’è alcuna garanzia matematica che il sistema sia resistente rispetto a tentativi di distorcere le sue «convinzioni», e infatti sia spam che echo chambers possono essere riscontrati. Possiamo veramente ispirarci a questi meccanismi per creare un nuovo modello di governance sociale(…)? Alcuni paesi stanno sperimentando l’idea di un punteggio sociale da assegnare ai cittadini, ma determinato dal comportamento stesso di questi piuttosto che dal feedback dei loro pari. Collegare l’accesso a certe opportunità (per esempio all’istruzione) a un tale punteggio potrebbe fornire un potente incentivo per influenzare il comportamento dei cittadini, sebbene non sia chiaro in quale direzione questo potrebbe dirigere un’intera società. Anche alcune compagnie stanno sperimentando un sistema di punteggi per i loro dipendenti, sulla base delle prestazioni e perfino della reputazione. (…) Se non siamo in grado di fermare le fake news, o le bolle di investimento, perché mai dovremmo aspettarci di poter gestire servizi algoritmici che creano graduatorie? A parte le considerazioni tecniche, c’è anche il problema etico legato al fatto che semplicemente creando e usando un tale sistema si può esercitare una pressione su altri cittadini a diventarne parte, aumentando il potere dei pochi che lo controllano di plasmare il comportamento dei molti che ne dipendono. In altre parole, questo potrebbe creare un nuovo potente mediatore sociale che potrebbe anche avere conseguenze negative. (N. Cristianini, “La scorciatoia. Come le macchine sono diventate intelligenti senza pensare in modo umano”)