Il termine, usato per definire la rimozione di limitazioni degli smartphone, è passato a designare quelle nei modelli di linguaggio, frutto di progetti di “allineamento” tra comportamento di questi dispositivi e leggi e norme umane.
Cristianini fa presente che:
questi trucchi sono una diretta conseguenza del fatto che – in questo tipo di sistemi – i dati da processare e le istruzioni sono scritti nello stesso linguaggio e usano lo stesso canale di comunicazione con l’algoritmo (…) grazie ai burloni che inventano sempre nuovi modi per ipnotizzare GPT, ora siamo in grado di immaginare come potrebbe essere un mondo in cui questi ChatBot non sono stati allineati o, peggio ancora, sono stati addestrati a supportare comportamenti criminali o fuorvianti. Ora sappiamo che le procedure usate per controllare queste macchine non rimuovono le conoscenze pericolose, ma semplicemente insegnano alla macchina a non rivelarle. È questo il vero problema posto da questa nuova tecnologia: non sappiamo che informazioni siano contenute in questi modelli, ovvero che cosa sappiano di noi e del mondo, e non abbiamo ancora un metodo perfetto per controllare il loro comportamento. Se questo non è un programma di ricerca, e urgente, non so cos’altro potrebbe esserlo. (N. Cristianini,”Machina Sapiens. L’algoritmo che ci ha rubato il segreto della conoscenza”)