Cristianini è netto

Decidere chi è responsabile per gli effetti di un sistema di IA sarà un passo cruciale: è l’operatore, il produttore o l’utente? E questo si lega al secondo fattore: la verificabilità, ovvero l’ispezionabilità. Come faremo a fidarci di sistemi che non possiamo ispezionare, a volte addirittura perché sono intrinsecamente costruiti in tale modo? Ogni ulteriore regolamentazione del settore dovrà stabilire fin dall’inizio che gli agenti intelligenti siano costruiti in modo tale da essere ispezionabili, e che quell’onere deve cadere sul produttore o sull’operatore. Avendo stabilito questo, sarà poi possibile discutere la loro sicurezza, equità, e tutti gli altri aspetti, che possono essere chiariti solo ispezionando l’agente. (…) Ogni utente dovrebbe essere in grado di aspettarsi quanto segue dalle sue interazioni con agenti intelligenti:

• sicurezza (che non causerà danni, né per guasti né per effetti collaterali imprevisti),

• rispetto (che non tenterà di spingere, manipolare, ingannare, convincere, guidare),

• trasparenza (che dichiarerà i suoi obiettivi e le sue motivazioni e le informazioni che utilizza per perseguirli),

• correttezza (che tratterà tutti gli utenti allo stesso modo quando prende decisioni in domini chiave),

• privacy (che rispetterà il diritto di controllare i propri dati personali).

In altre parole, l’utente non dovrebbe mai preoccuparsi di quali possano essere i motivi dietro un comportamento dell’agente, o delle possibili conseguenze impreviste di usarlo. (…) Il lavoro che è necessario non è una questione di ingegneria del software, ma di comprensione di come il software interagisce con la società e la psicologia individuale. (N. Cristianini, “La scorciatoia. Come le macchine sono diventate intelligenti senza pensare in modo umano”)