In un articolo ampiamente letto intitolato “La maledizione della ricorsione”, i ricercatori hanno scoperto che gli LLM addestrati sui dati generati dai chatbot presentavano “difetti irreversibili” che portavano al collasso del modello. Poiché il modello viene addestrato su grandi quantità di dati sintetici, si concentra maggiormente sui risultati probabili e produce meno eventi rari, portando i modelli a diventare più ripetitivi e meno in grado di generare un’ampia varietà di casi. Poiché gli LLM sono principalmente addestrati su dati raschiati da Internet, ciò solleva il problema fondamentale di cosa accadrà quando le future versioni di Internet saranno inondate di contenuti generati da LLM, come sempre più spesso accade. Gli sviluppatori potrebbero trovare una soluzione tecnica per questo, ma suggerisce che in alcuni casi potrebbe esserci un premio sui dati generati dall’uomo, poiché offrire qualcosa che i dati sintetici trovano ancora difficile da simulare. (J. Muldoon, M. Graham, C. Cant, “Feeding the machine. The hidden human labour powering AI” – traduzione in proprio)
Il documento analizza l’effetto del “model collapse” nei modelli generativi, in particolare nei modelli di linguaggio di grandi dimensioni (LLM). Questo fenomeno si verifica quando i modelli vengono addestrati su dati generati da versioni precedenti di se stessi, portando a una degenerazione delle prestazioni e a una perdita della distribuzione originale dei dati. Di seguito sono riportati i concetti fondamentali e un glossario.
Concetti Fondamentali
- Model Collapse: Un processo degenerativo in cui i modelli dimenticano la distribuzione reale dei dati a causa dell’addestramento su contenuti generati da altri modelli. Questo porta a una convergenza verso output limitati e poco rappresentativi della realtà.
- Catastrophic Forgetting: Fenomeno in cui un modello dimentica informazioni precedentemente apprese quando viene addestrato su nuovi dati. Sebbene correlato, è distinto dal model collapse, che riguarda più generazioni di modelli.
- Data Poisoning: Tecnica in cui dati malevoli vengono inseriti nel set di addestramento per degradare le prestazioni del modello. Questo è particolarmente rilevante nei contesti in cui i modelli sono addestrati su grandi dataset web.
- Statistical Approximation Error: Errore primario derivante dalla limitatezza del numero di campioni, che può portare alla perdita di informazioni durante il campionamento.
- Functional Approximation Error: Errore secondario dovuto all’insufficiente capacità espressiva dei modelli, che può causare una rappresentazione errata della distribuzione originale.
Glossario
- Generative Models: Modelli che apprendono a generare nuovi dati simili a quelli su cui sono stati addestrati.
- Variational Autoencoders (VAE): Un tipo di modello generativo che utilizza tecniche di inferenza variazionale per apprendere la distribuzione dei dati.
- Gaussian Mixture Models (GMM): Modelli probabilistici che assumono che i dati siano generati da una combinazione di diverse distribuzioni gaussiane.
- Reinforcement Learning from Human Feedback (RLHF): Tecnica di addestramento in cui i modelli vengono ottimizzati utilizzando feedback umano per migliorare le loro prestazioni.
- Wasserstein Distance: Una misura della distanza tra due distribuzioni di probabilità, utilizzata per quantificare la divergenza tra la distribuzione originale e quella appresa dal modello.
Questo documento evidenzia l’importanza dell’accesso a dati genuini e umani per evitare il model collapse e mantenere l’integrità dei modelli generativi.