La “distillazione della conoscenza” rappresenta un processo sistematico di trasferimento delle conoscenze da un modello intelligenza artificiale “insegnante” (teacher) di ampie dimensioni a un modello “studente” (student) di dimensioni ridotte, mantenendo invariati i livelli di prestazione. Concettualizzata da Geoffrey Hinton nel 2015, questa metodologia si basa su un lavoro pionieristico intrapreso nel 2006 nel campo delle reti neurali. Il modello studente non si limita a replicare le risposte corrette, ma acquisisce dal modello insegnante la logica sottostante necessaria per generarle, apprende quindi le relazioni probabilistiche esistenti tra le classi semantiche che formano la base dei dati di addestramento.