Secondo un articolo di ricercatori Microsoft modelli più piccoli (del tipo di ChatGPT 3.5) sono in grado di assicurare maggiore accuratezza di risposta rispetto a modeli di dimensioni maggiori, a patto di essere utilizzati utilizzando manufatti culturali con il processo di elaborazione ed edizione dei “manuali”.

Presentiamo phi-1, un nuovo modello linguistico di grandi dimensioni per il codice, con dimensioni significativamente inferiori rispetto ai modelli concorrenti: phi-1 è un modello basato su Transformer con 1,3B parametri, addestrato per 4 giorni su 8 A100, utilizzando una selezione di dati di “qualità da libro di testo” dal web (6B token) e libri di testo ed esercizi generati sinteticamente con GPT-3.5 (1B token). Nonostante la scala ridotta, phi-1 raggiunge un’accuratezza pass@1 del 50,6% su HumanEval e del 55,5% su MBPP. Mostra inoltre sorprendenti proprietà emergenti rispetto a phi-1-base, il nostro modello prima della fase di perfezionamento su un set di dati di esercizi di codifica, e a phi-1-small, un modello più piccolo con 350M parametri addestrato con la stessa pipeline di phi-1 che raggiunge comunque il 45% su HumanEval.

Borroni Barale fa in proposito due riflessioni:

• unità informative meno selezionate dei “libri” contengono più spazzatura culturale;
• la base estrattiva su cui si fondano i dispositivi produce più “intelligenza” artificiale a fronte di una maggior qualità dell’intelligenza umana sussunta. (fonte: S. Borroni Barale, “L’intelligenza inesistente. Un approccio conviviale all’intelligenza artificiale”)

Del resto già Google Scholar testimoniava l’esistenza di un approccio di questo tipo, come le sue alternative.