Mercato della tokenizzazione

Un team di ricercatori all’università di Washington ha condotto un’analisi comparativa dei costi dell’API del modello linguistico di OpenAI su un campione di 22 lingue tipologicamente diverse, notando la non uniformità dei prezzi e quindi dei costi specifici per ogni lingua. Questa disparità è il risultato del sistema di tokenizzazione sub-lessicale (dall’inglese subword tokenization) degli LLM, che produce stringhe più lunghe di unità (token) in alcuni script linguistici rispetto ad altri. La tokenizzazione nell’elaborazione del linguaggio naturale si riferisce al processo di segmentazione del testo in unità atomiche, che non corrispondono necessariamente a unità distintive della lingua e sono per la maggior parte prive di significato in senso stretto, in quanto risultato di una elaborazione statistica delle ricorrenze nel testo. Queste stesse ricorrenze vengono successivamente utilizzate da un LLM addestrato per prevedere il prossimo “token”, cioè l’unità più plausibile che fa seguito a una determinata sequenza di segni, e quindi generare nuovo testo; è in questo modo che ChatGPT “ci parla”. Tuttavia, ciò che costituisce un token non è uno standard universale ed è oggetto di ricerche e di dibattiti ancora in corso. Diverse scelte di progettazione possono influire sul numero di token del sistema di scrittura di una lingua causando un aumento della sua frammentazione. Una tokenizzazione eccessiva può anche derivare dalla scarsità dei relativi dati di addestramento, come nel caso delle “lingue a bassa disponibilità di risorse”, ma anche dalle proprietà specifiche dei singoli sistemi di scrittura o dal modo in cui essi sono rappresentati nel sistema di codifica Unicode, cioè lo standard di classificazione universale dei caratteri per l’elaborazione elettronica del testo. L’API dei modelli linguistici addebita agli utenti un importo fisso per una determinata quantità di input e token generati. Il sistema di tokenizzazione sub-lessicale dell’API di ChatGPT, ad esempio, crea disparità nei costi tra le lingue: il sistema di scrittura latino incontra in media valori di frammentazione più bassi rispetto a quello di altre lingue. Ad esempio il telugu, circa 96 milioni di parlanti nell’India centro-orientale, richiede cinque volte più token per trasmettere la stessa “informazione” rispetto alla lingua inglese, facendo così aumentare esponenzialmente i costi specifici per lingua. Il rapporto con l’inglese è di 1 a 15 per lo shan, circa 4.7 milioni di parlanti natii nella Birmania nord-orientale, 1 a 3 per l’arabo, ma anche 2.6 per il bulgaro e 1.6 per l’italiano. I ricercatori della Washington University ci dicono che «sebbene i modelli linguistici come ChatGPT possano svolgere compiti in telugu, ad esempio, un utente in Andhra Pradesh potrebbe pagare 5 volte di più rispetto a un utente di lingua inglese negli Stati Uniti per un utilizzo equivalente del modello» (…) Sono [per altro] di lungo corso le discriminazioni intrinseche al tempo di lavoro alfabetico e alla relazione fra capitale/informazione e, anche se queste hanno condizionato in maniera particolare i caratteri cinesi, almeno fino all’introduzione in epoca digitale di funzioni predittive del testo, il cosiddetto “autocompletamento”, le disuguaglianze tecno-linguistiche hanno coinvolto molte ortografie diverse da quella latina. Basti pensare (…) alle legature e alle variazioni contestuali a seconda della posizione delle lettere nella scrittura araba che, tra molte altre lingue, non erano adatte alla codifica del codice Morse, pensato invece per caratteri non corsivi. (…) indagare l’interdipendenza di linguaggio e lavoro ci permette di pensare le odierne “macchine linguistiche”, vedi ChatGPT o Google Translate, come vere e proprie macchine di lavoro collettivo, non solo del linguaggio come mercato, ma che includono l’intera catena dei servizi di logistica, fino allo sfruttamento di risorse energetiche necessarie per alimentare i data center (…) l’automazione sopraggiunge (…) quando produzione materiale e produzione linguistica appaiono totalmente ricongiunte e mostrano la propria omologia fino a risolverla in una identità. In questo senso, il costo del lavoro linguistico è anche il costo del lavoro tout court. In secondo luogo, il nesso linguaggio-lavoro ci porta a considerare le discriminazioni nel costo del linguaggio all’interno di una tassonomia degli indici di produttività. Il token può essere oggi considerato l’unità di un sistema metrico, così come lo era stato il codice Morse durante la seconda rivoluzione industriale e la sua espansione coloniale, volto a misurare valori trasversalmente alle attività lavorative: dalla linguistica computazionale alle tecnologie di blockchain applicate alle catene di approvvigionamento agricolo nello stato indiano di Andhra Pradesh. (P. Caffoni, “I costi del linguaggio dal telegrafo a ChatGPT” – in Micromega 6/24)

Sintesi dell’articolo di Perplexity.ai

Riassunto e glossario dei concetti fondamentali

Il documento analizza l’interazione tra linguaggio, tecnologia e economia, concentrandosi sull’impatto delle tecnologie di traduzione automatica e dei modelli linguistici a grandi dimensioni (LLM) come ChatGPT. Viene evidenziato come le lingue abbiano costi diversi in base alla loro struttura e alla tokenizzazione, un processo che segmenta il testo in unità più piccole per l’elaborazione. Inoltre, si discute della storia del telegrafo e delle sue implicazioni socio-economiche, nonché del concetto di “token” come simbolo di valore sia linguistico sia economico.

Glossario dei concetti fondamentali

  • Traduzione automatica: Processo di conversione di testo da una lingua a un’altra tramite software, con costi variabili a seconda della lingua.
  • Modelli linguistici a grandi dimensioni (LLM): Algoritmi avanzati per l’elaborazione del linguaggio naturale, come quelli sviluppati da OpenAI.
  • Tokenizzazione: Segmentazione del testo in unità chiamate “token”, che possono essere parole o parti di parole; influisce sui costi di elaborazione.
  • API (Application Programming Interface): Interfaccia che consente la comunicazione tra software diversi, utilizzata per accedere a modelli linguistici.
  • Disparità di costi: Differenze nei costi di utilizzo dei LLM tra diverse lingue, influenzate dalla tokenizzazione e dalla disponibilità di dati.
  • Sovranità semiotica: Concetto che descrive il controllo e la rappresentazione dei sistemi semiotici (come il linguaggio) in contesti tecnologici e culturali.
  • Tempo di lavoro alfabetico: Riferimento all’efficienza e ai costi associati all’uso di lingue scritte in contesti tecnologici, come il telegrafo.
  • Token: In linguistica, rappresenta un’unità di significato; in economia, è un simbolo di valore o prova di scambio.
  • Equivalenza nella traduzione: Idea che esplora le difficoltà nel trovare equivalenti perfetti tra lingue diverse, dato che il valore linguistico è influenzato da molteplici fattori.

Questi concetti sono interconnessi e riflettono le sfide contemporanee nel campo della traduzione automatica e dell’elaborazione del linguaggio, evidenziando le disuguaglianze esistenti tra le diverse lingue nel contesto della tecnologia moderna.

Concetti chiave

Il documento analizza l’evoluzione della comunicazione, partendo dall’introduzione del telegrafo fino all’uso di modelli linguistici avanzati come ChatGPT, evidenziando le disparità economiche e linguistiche che emergono nell’ambito della traduzione automatica.

  • Disparità nei costi di traduzione: Le lingue hanno costi diversi per i servizi di traduzione automatica, influenzati dalla tokenizzazione e dalla disponibilità di dati. Ad esempio, il telugu richiede cinque volte più token rispetto all’inglese per trasmettere la stessa informazione, aumentando così i costi per gli utenti che parlano lingue meno diffuse[1].
  • Tokenizzazione: Questo processo segmenta il testo in unità più piccole (token), che non sempre corrispondono a parole significative. La tokenizzazione sub-lessicale può portare a una maggiore frammentazione del testo e influenzare i costi di elaborazione linguistica[1].
  • API (Application Programming Interface): Strumenti che consentono la comunicazione tra software e modelli linguistici, utilizzati per accedere a servizi di traduzione automatica. Le API addebitano costi basati sul numero di token elaborati[1].
  • Sovranità semiotica: Concetto che descrive le sfide legate all’uso di sistemi semiotici (come il linguaggio) in contesti tecnologici, evidenziando come le tecnologie dell’informazione possano privilegiare determinate lingue rispetto ad altre[1].
  • Tempo di lavoro alfabetico: Riferimento all’efficienza e ai costi associati all’uso di diverse scritture in contesti tecnologici. Ad esempio, la scrittura cinese ha storicamente presentato sfide uniche rispetto al codice Morse, aumentando i costi di trasmissione delle informazioni[1].
  • Equivalenza nella traduzione: L’idea che non esista una corrispondenza perfetta tra le lingue, poiché il valore linguistico è influenzato da molteplici fattori, tra cui le relazioni tra segni e significati all’interno delle lingue stesse[1].

Questi concetti sono interconnessi e riflettono le complessità delle interazioni tra linguaggio, tecnologia e economia nel contesto della traduzione automatica moderna.

I costi associati all’uso dei modelli linguistici a grandi dimensioni (LLM) variano significativamente a seconda della lingua utilizzata. Questa disparità è principalmente dovuta al processo di tokenizzazione sub-lessicale, che influisce sulla lunghezza delle stringhe di testo elaborate dai modelli. Ecco una sintesi delle differenze di costo tra le lingue:

Disparità nei Costi di Tokenizzazione

  1. Tokenizzazione e Costi:
  • I modelli LLM, come quelli sviluppati da OpenAI, addebitano agli utenti un costo basato sul numero di token elaborati. Le lingue con sistemi di scrittura più complessi o meno rappresentati nei dati di addestramento tendono a richiedere un numero maggiore di token per trasmettere la stessa informazione rispetto all’inglese[1].
  • Ad esempio, il telugu richiede cinque volte più token rispetto all’inglese per comunicare la stessa quantità di informazioni, mentre lo shan ha un rapporto di 1 a 15 rispetto all’inglese[1].
  1. Esempi Specifici:
  • Telugu: 5 volte più costoso rispetto all’inglese.
  • Shan: 15 volte più costoso.
  • Arabo: 3 volte più costoso.
  • Bulgaro: 2,6 volte più costoso.
  • Italiano: 1,6 volte più costoso[1].

Implicazioni Economiche e Sociali

Questa differenza nei costi non è solo una questione tecnica, ma ha anche implicazioni economiche e sociali significative. Gli utenti che parlano lingue meno rappresentate possono affrontare oneri finanziari sproporzionati per accedere a servizi che sono più facilmente disponibili e meno costosi per i parlanti dell’inglese. I ricercatori suggeriscono che le aziende come OpenAI dovrebbero essere più trasparenti riguardo a queste disparità e lavorare verso una maggiore equità nella tokenizzazione tra le lingue[1].

Proposte per la Parità

Un gruppo di ricerca dell’Università di Oxford ha proposto l’obiettivo di raggiungere una “parità di tokenizzazione” tra le lingue, cercando di redistribuire i privilegi attualmente detenuti dall’inglese e migliorare l’accesso alle tecnologie linguistiche per tutte le comunità linguistiche[1].

In sintesi, i costi variabili associati all’uso degli LLM dipendono dalla lingua utilizzata e dal sistema di tokenizzazione applicato, evidenziando la necessità di un approccio più equo nella progettazione e implementazione delle tecnologie linguistiche.

Ruolo della Tokenizzazione nella Generazione del Testo

La tokenizzazione è un processo fondamentale nell’elaborazione del linguaggio naturale (NLP) e gioca un ruolo cruciale nella generazione del testo da parte dei modelli linguistici, come i Large Language Models (LLM) utilizzati in applicazioni come ChatGPT. Questo processo implica la segmentazione del testo in unità più piccole, chiamate token, che possono essere parole, parti di parole o simboli. La tokenizzazione non solo facilita l’analisi linguistica, ma influisce anche sulla qualità e sull’efficienza della generazione del testo.

Processo di Tokenizzazione

  1. Segmentazione del Testo: La tokenizzazione suddivide il testo in unità che non corrispondono necessariamente a parole complete. Queste unità possono essere frasi, parole o frammenti di parole (subword tokens) e sono create attraverso algoritmi statistici che analizzano le ricorrenze nel testo[1].
  2. Previsione dei Token: Una volta che il testo è stato tokenizzato, i modelli di linguaggio utilizzano le sequenze di token per prevedere il token successivo in base al contesto fornito dai token precedenti. Questo è il meccanismo centrale attraverso cui i LLM generano testo coerente e pertinente[1].

Impatto della Tokenizzazione sulla Generazione del Testo

  • Efficienza e Costi: La tokenizzazione influisce sui costi associati all’uso dei modelli linguistici. Ad esempio, lingue diverse possono richiedere un numero variabile di token per esprimere la stessa informazione. Lingue come il telugu possono richiedere fino a cinque volte più token rispetto all’inglese per trasmettere equivalenti significativi, aumentando così i costi per gli utenti[1].
  • Qualità della Generazione: La scelta della strategia di tokenizzazione può influenzare la qualità del testo generato. Una tokenizzazione eccessiva può portare a una frammentazione del significato, rendendo difficile per il modello generare risposte fluide e coerenti. Inoltre, le lingue con strutture grammaticali e sistemi di scrittura complessi possono presentare sfide specifiche nella tokenizzazione, influenzando ulteriormente la qualità dell’output[1].

Considerazioni Finali

La tokenizzazione non è solo una questione tecnica; ha implicazioni significative per l’equità nell’accesso alle tecnologie linguistiche. Le disparità nei costi di elaborazione tra le lingue evidenziano la necessità di sviluppare sistemi di tokenizzazione più equi che possano garantire parità tra diverse lingue e culture nel contesto della tecnologia linguistica. In definitiva, comprendere il ruolo della tokenizzazione è essenziale per migliorare non solo la generazione del testo ma anche l’accessibilità e l’efficacia dei modelli linguistici a livello globale.

La disparità nei costi di tokenizzazione ha diverse implicazioni economiche significative, che possono influenzare vari settori e attori economici. Ecco un’analisi delle principali implicazioni:

1. Accesso al Mercato

Barriere all’ingresso: Le aziende con risorse limitate potrebbero trovare difficile accedere ai benefici della tokenizzazione a causa dei costi elevati. Ciò può portare a una concentrazione di opportunità nelle mani di grandi imprese, escludendo le piccole e medie imprese (PMI) dalla partecipazione in mercati emergenti.

Disuguaglianza tra settori: Settori con maggiori risorse finanziarie possono adottare la tokenizzazione più rapidamente, mentre altri, come le startup o le PMI, potrebbero rimanere indietro, creando una disparità economica tra i diversi settori.

2. Innovazione e Competitività

Freni all’innovazione: Costi elevati possono limitare la capacità delle aziende di investire in nuove tecnologie e innovazioni. Le aziende che non possono permettersi di tokenizzare i loro asset potrebbero perdere opportunità per migliorare l’efficienza operativa o per sviluppare nuovi modelli di business.

Competizione sleale: Le aziende che riescono a ridurre i costi di tokenizzazione attraverso economie di scala o tecnologie avanzate possono ottenere un vantaggio competitivo significativo rispetto a quelle che non possono farlo.

3. Investimenti e Finanziamenti

Attrattiva per gli investitori: La disparità nei costi può influenzare la percezione degli investitori riguardo alla fattibilità e alla redditività degli investimenti in progetti tokenizzati. Progetti con costi elevati potrebbero risultare meno attraenti, limitando il flusso di capitali verso tali iniziative.

Rischio di fallimento: Le aziende che affrontano costi elevati senza un chiaro ritorno sugli investimenti potrebbero essere più vulnerabili al fallimento, aumentando il rischio per gli investitori e per l’intero ecosistema economico.

4. Regolamentazione e Normative

Necessità di regolamentazione: La disparità nei costi di tokenizzazione può spingere i governi a considerare regolamentazioni più chiare e standardizzate per garantire un campo di gioco equo. Tuttavia, una regolamentazione eccessiva potrebbe aumentare ulteriormente i costi di conformità.

Sostenibilità del mercato: Se i costi non vengono gestiti adeguatamente, si potrebbe assistere a una stagnazione del mercato della tokenizzazione, con conseguenze negative per l’adozione delle tecnologie blockchain in generale.

Conclusione

In sintesi, le implicazioni economiche della disparità nei costi di tokenizzazione sono complesse e multifaccettate. Esse influenzano l’accesso al mercato, l’innovazione, gli investimenti e le normative, creando un ambiente in cui alcune aziende prosperano mentre altre lottano per rimanere competitive. È fondamentale che le parti interessate collaborino per ridurre queste disparità e promuovere un ecosistema più inclusivo ed equo.

NotebookLM sui documenti citati fino a ora nell’articolo

I Principali Metodi di Tokenizzazione

Le fonti discutono vari metodi di tokenizzazione utilizzati nell’elaborazione del linguaggio naturale (NLP). Ecco i principali metodi discussi:

Tokenizzazione a livello di parola: Questo è il metodo più semplice, in cui il testo viene suddiviso in parole separandole in base agli spazi bianchi.  Tuttavia, questo approccio presenta diverse limitazioni, tra cui la difficoltà nel gestire parole fuori vocabolario, parole con caratteri accentati, errori di ortografia ed entità nominate.  Inoltre, non è adatto a lingue che non usano spazi per separare le parole, come il cinese, il giapponese e il birmano.

Tokenizzazione a livello di sottoparola (subword): Questo metodo, attualmente il più diffuso per i modelli linguistici di ultima generazione, scompone le parole complesse in più token.  Questo consente di rappresentare parole nuove, comprese quelle con errori di ortografia, in un vocabolario aperto.  I metodi di tokenizzazione a livello di sottoparola più comuni includono WordPiece e Byte-Pair Encoding (BPE).  WordPiece è stato introdotto per gestire lingue come il giapponese e il coreano, mentre BPE si basa sulla fusione delle coppie di caratteri più frequenti.  SentencePiece, un altro metodo popolare, risolve l’ambiguità della detokenizzazione trattando lo spazio bianco come un simbolo speciale incluso nel vocabolario.

Tokenizzazione a livello di carattere e byte: In questo metodo, il testo viene rappresentato utilizzando caratteri singoli o sequenze di byte.  I modelli a livello di byte, come ByT5, utilizzano la codifica UTF-8 per rappresentare il testo.6 CANINE, un modello a livello di carattere, utilizza una tecnica di hashing per raggruppare i caratteri e condividere i parametri. I modelli a livello di carattere e byte offrono una maggiore robustezza al rumore e la possibilità di rappresentare qualsiasi punto di codice Unicode, ma possono essere computazionalmente più costosi a causa delle sequenze più lunghe.

Le fonti evidenziano che la scelta del metodo di tokenizzazione può influenzare significativamente le prestazioni, i costi e l’equità dei modelli linguistici. Ad esempio, i modelli basati su token subword tendono a favorire l’inglese rispetto ad altre lingue, con implicazioni economiche e sociali rilevanti. Si sottolinea l’importanza di sviluppare tokenizzatori multilingue equi, che producano lunghezze di tokenizzazione simili per lo stesso contenuto in diverse lingue. Questo obiettivo richiede la creazione di corpora di addestramento bilanciati e l’adozione di strategie di tokenizzazione che tengano conto delle specificità dei diversi sistemi di scrittura.

L’Influenza della Tokenizzazione su Costi, Latenza ed Elaborazione di Contesti Lunghi

La tokenizzazione, il processo di suddivisione del testo in unità elementari chiamate “token”, esercita un’influenza significativa su tre aspetti cruciali dei servizi linguistici basati su LLM (Large Language Models):

Costi:

I servizi commerciali basati su LLM, come ChatGPT di OpenAI, spesso applicano tariffe basate sul numero di token elaborati.

La lunghezza della tokenizzazione varia tra le lingue, con alcune lingue, come l’inglese, che richiedono meno token per esprimere lo stesso contenuto rispetto ad altre lingue, come il telugu o lo shan -5.

Di conseguenza, gli utenti di lingue con tokenizzazione meno efficiente pagano di più per lo stesso servizio. Ad esempio, elaborare un testo in telugu può costare cinque volte di più rispetto all’elaborare lo stesso testo in inglese.

Latenza: La lunghezza della tokenizzazione influisce direttamente sul tempo di elaborazione .

Lingue con tokenizzazioni più lunghe richiedono tempi di elaborazione maggiori, il che può essere problematico per applicazioni in tempo reale come i servizi di emergenza ,.

Il meccanismo di attenzione del modello Transformer, alla base di molti LLM, ha una complessità quadratica in base al numero di token di input.

Questo significa che raddoppiare la lunghezza della tokenizzazione può quadruplicare il tempo di elaborazione.

Elaborazione di Contesti Lunghi:

Molti LLM hanno una dimensione fissa del contesto che possono elaborare.

La tokenizzazione meno efficiente di alcune lingue limita la quantità di contenuto che può essere fornita come input.

Ad esempio, un modello con un limite di contesto di token potrebbe elaborare un testo in inglese dieci volte più lungo di un testo equivalente in birmano.

Questa disparità può incidere negativamente sulla qualità del servizio per gli utenti di alcune lingue.

Le disparità nella tokenizzazione tra le lingue sono attribuibili a:

Bias nei dati di addestramento: i tokenizzatori sono addestrati su grandi corpora di testo, spesso sbilanciati verso l’inglese-.

Caratteristiche dei sistemi di scrittura: i sistemi di scrittura logografici come il cinese possono essere più efficienti in termini di tokenizzazione rispetto ai sistemi alfabetici.

Standard di codifica: lo standard Unicode utilizza un numero variabile di byte per rappresentare i caratteri, il che può influire sulla lunghezza della tokenizzazione, soprattutto per i modelli byte-level.

Per mitigare le disuguaglianze legate alla tokenizzazione, le fonti suggeriscono:

Sviluppo di tokenizzatori multilingue equi: dovrebbero produrre lunghezze di tokenizzazione simili per lo stesso contenuto in diverse lingue, considerando le specificità dei sistemi di scrittura.

Creazione di corpora paralleli multilingue equi: bilanciati in termini di argomenti e lingue per evitare bias nella tokenizzazione.

Formazione di LLM con tokenizzatori multilingue equi: per ridurre le disparità in costi, latenza e capacità di elaborare contesti lunghi.

L’analisi storica evidenzia come le disuguaglianze tecno-linguistiche siano un fenomeno di lunga data, esemplificato dal privilegio accordato all’alfabeto inglese nel codice Morse, che ha svantaggiato lingue con sistemi di scrittura diversi,.

Il concetto di “token” come unità di misura nel mercato linguistico merita un’attenta riflessione. La tokenizzazione dovrebbe essere analizzata nell’ambito dell’economia politica del segno, considerando la relazione tra linguaggio e lavoro,.

L’Impatto della Tokenizzazione sui Costi dei Servizi Linguistici Basati su LLM

La tokenizzazione, il processo di suddivisione del testo in unità atomiche chiamate “token”, ha un impatto significativo sui costi dei servizi linguistici basati su LLM (Large Language Models). Le fonti analizzano questo fenomeno, evidenziando come le disparità nella lunghezza della tokenizzazione tra le lingue possano portare a costi più elevati per gli utenti di alcune lingue rispetto ad altri.

Modelli con Prezzi Basati sui Token: Molti servizi LLM, come ChatGPT di OpenAI, applicano tariffe basate sul numero di token elaborati . Di conseguenza, una tokenizzazione meno efficiente, che produce un numero maggiore di token per lo stesso contenuto, si traduce in costi più elevati per l’utente finale .

Disparità tra le Lingue: Le fonti evidenziano che i sistemi di tokenizzazione attuali tendono a favorire lingue come l’inglese, che presentano una tokenizzazione più efficiente rispetto a lingue come il telugu, lo shan o l’arabo. Questo squilibrio è dovuto a diversi fattori, tra cui i bias nei dati di addestramento, le caratteristiche dei sistemi di scrittura e gli standard di codifica dei caratteri -7.

Implicazioni Economiche: La disparità nei costi di elaborazione può avere importanti implicazioni socioeconomiche. Ad esempio, gli utenti di lingue con una tokenizzazione meno efficiente potrebbero essere svantaggiati nell’accesso a servizi LLM a pagamento o dover sostenere costi significativamente più elevati . Questo problema è particolarmente rilevante per le “lingue a bassa disponibilità di risorse”, che spesso sono anche lingue parlate in paesi con un reddito pro capite inferiore.

Parità di Tokenizzazione: Per affrontare questo problema, alcuni ricercatori propongono di sviluppare tokenizzatori multilingue equi, in grado di produrre lunghezze di tokenizzazione simili per lo stesso contenuto in diverse lingue , ,. Questo obiettivo richiede la creazione di corpora di addestramento bilanciati e l’adozione di strategie di tokenizzazione che tengano conto delle specificità dei diversi sistemi di scrittura.

Oltre all’impatto diretto sui costi, la tokenizzazione influenza anche altri aspetti dei servizi LLM, come la latenza (tempo di elaborazione) e la capacità di elaborare contesti lunghi -. Lingue con tokenizzazioni più lunghe richiedono tempi di elaborazione maggiori e possono essere limitate nella quantità di testo elaborabile da un singolo modello LLM.

Le fonti invitano a una maggiore trasparenza da parte delle aziende che offrono servizi LLM, in modo che gli utenti siano consapevoli delle differenze nei costi e nelle prestazioni tra le lingue . Inoltre, sottolineano l’importanza di considerare la tokenizzazione all’interno dell’economia politica del segno, analizzando come questo processo tecnico rifletta e riproduca le disuguaglianze socioeconomiche legate al linguaggio.

In conclusione, la tokenizzazione ha un impatto significativo sui costi dei servizi linguistici basati su LLM, creando disparità tra le lingue e potenziali barriere all’accesso per alcune comunità linguistiche. La ricerca di soluzioni che promuovano l’equità e l’accessibilità per tutti è fondamentale per garantire che le tecnologie linguistiche siano uno strumento di inclusione e non di discriminazione.

La Tokenizzazione e la Disuguaglianza Socioeconomica

L’analisi delle fonti evidenzia come la tokenizzazione, processo fondamentale per l’elaborazione automatica del linguaggio, possa riflettere e riprodurre disuguaglianze socioeconomiche legate al linguaggio.

La frammentazione del testo in token non è uniforme tra le diverse lingue. Alcune lingue, come l’inglese, tendono ad avere una tokenizzazione più efficiente, con un numero inferiore di token per esprimere lo stesso contenuto rispetto ad altre lingue, come ad esempio il telugu o lo shan.

Questa disparità nella lunghezza della tokenizzazione si traduce in una serie di svantaggi economici e di performance per gli utenti di alcune lingue:

Costi più elevati: i servizi commerciali basati su LLM (Large Language Models), come ChatGPT, spesso addebitano i costi in base al numero di token elaborati. Di conseguenza, gli utenti di lingue con una tokenizzazione meno efficiente si trovano a pagare di più per lo stesso servizio rispetto agli utenti di lingue come l’inglese.

Maggiore latenza: la lunghezza della tokenizzazione influisce direttamente sul tempo di elaborazione. Lingue con tokenizzazioni più lunghe richiedono tempi di elaborazione maggiori, il che può essere un problema per applicazioni in tempo reale come i servizi di emergenza,.

Limitazioni nell’elaborazione di contesti lunghi: molti modelli LLM hanno una dimensione fissa del contesto che possono elaborare. La tokenizzazione meno efficiente di alcune lingue limita la quantità di contenuto che può essere fornita come input, con conseguenti potenziali disparità nella qualità del servizio.

Le cause di queste disparità sono molteplici:

Bias nei dati di addestramento: i modelli di tokenizzazione sono addestrati su grandi corpora di testo. Se questi corpora sono sbilanciati a favore di alcune lingue, come l’inglese, la tokenizzazione risultante tenderà a favorire tali lingue, .

Caratteristiche specifiche dei sistemi di scrittura: alcune lingue, come il cinese, utilizzano sistemi di scrittura logografici, in cui un singolo carattere rappresenta un’intera parola o concetto. Questi sistemi di scrittura possono essere più efficienti in termini di tokenizzazione rispetto ai sistemi alfabetici, come quello latino.

Standard di codifica: lo standard Unicode, utilizzato per la codifica dei caratteri, utilizza un numero variabile di byte per rappresentare i caratteri di diverse lingue. Ciò può contribuire alle disparità nella lunghezza della tokenizzazione, in particolare per modelli che operano a livello di byte.

Le fonti presentano diverse proposte per mitigare queste disuguaglianze:

Sviluppo di tokenizzatori multilingue equi: questi tokenizzatori dovrebbero essere progettati per produrre lunghezze di tokenizzazione simili per lo stesso contenuto in diverse lingue, tenendo conto delle specificità dei diversi sistemi di scrittura, .

Creazione di corpora paralleli multilingue equi: questi corpora dovrebbero essere bilanciati in termini di argomenti e lingue rappresentate, al fine di evitare bias nella tokenizzazione .

Formazione di modelli LLM con tokenizzatori multilingue equi: l’utilizzo di tokenizzatori equi durante la fase di addestramento dei modelli LLM può contribuire a ridurre le disparità nei costi, nella latenza e nella capacità di elaborare contesti lunghi.

Aumento della trasparenza: le aziende che offrono servizi basati su LLM dovrebbero essere più trasparenti riguardo alle differenze nei costi e nelle prestazioni tra le diverse lingue, in modo che gli utenti possano prendere decisioni informate .

L’analisi storica presentata nelle fonti , mette in luce come le disuguaglianze tecno-linguistiche siano un fenomeno di lunga data, risalente all’introduzione del telegrafo e del codice Morse. La priorità data all’alfabeto fonetico inglese ha portato a svantaggi per le lingue con sistemi di scrittura diversi, come il cinese, in termini di costi e tempi di trasmissione. Questa “inefficienza del tempo di lavoro” imposta da un ordine legato all’esperienza occidentale ha contribuito a rafforzare l’idea di una superiorità delle lingue alfabetiche.

Il concetto di “token” come nuova forma di “equivalente generale” tra le lingue  merita un’attenta riflessione. La tokenizzazione, come forma di astrazione applicata al linguaggio nel mercato, dovrebbe essere analizzata all’interno dell’economia politica del segno . In quest’ottica, la relazione tra linguaggio e lavoro diventa centrale per comprendere le discriminazioni nel costo del linguaggio. Il token può essere visto come un’unità di misura della produttività, che si applica non solo al lavoro linguistico ma anche all’intero processo produttivo che sta dietro alle moderne “macchine linguistiche”.

In conclusione, la tokenizzazione, sebbene sia un processo tecnico, ha importanti implicazioni sociali ed economiche. Le disuguaglianze che essa può generare o amplificare devono essere affrontate attraverso soluzioni che promuovano l’equità e l’accesso paritario alle tecnologie linguistiche per tutte le comunità linguistiche.

Vantaggi e svantaggi degli approcci alla segmentazione delle parole

I modelli linguistici necessitano di un processo di tokenizzazione, ovvero la scomposizione del testo in unità atomiche chiamate “token”. La scelta del metodo di tokenizzazione può influenzare significativamente le prestazioni, l’equità e il costo dei modelli. Le fonti esaminano i diversi approcci alla segmentazione delle parole nei modelli linguistici, evidenziando i loro vantaggi e svantaggi.

Tokenizzazione a livello di parola:

Vantaggi: Semplicità concettuale e interpretabilità.

Svantaggi: Necessità di un vocabolario enorme per includere tutte le possibili parole, il che è impraticabile.

Difficoltà nella gestione di parole rare, errori di ortografia ed entità nominate.

Inadeguatezza per lingue senza separazione tra le parole, come il cinese.

Tokenizzazione a livello di subword:

Vantaggi:Efficienza nella gestione di termini complessi e parole nuove.

Vocabolario di dimensioni ridotte rispetto alla tokenizzazione a livello di parola.

Svantaggi: Possibile creazione di token privi di significato linguistico.

Disparità nella lunghezza della tokenizzazione tra le lingue, con conseguente trattamento iniquo.

Le lingue con sistemi di scrittura meno diffusi tendono ad avere una tokenizzazione più lunga, aumentando i costi di elaborazione.

Tokenizzazione a livello di carattere o byte:

Vantaggi: Maggiore robustezza al rumore e agli errori di ortografia.

Capacità di rappresentare qualsiasi punto di codice Unicode senza un vocabolario esplicito.

Svantaggi: Lunghezza delle sequenze significativamente maggiore, con conseguente aumento dei tempi di elaborazione e dei costi. ,

Disparità nella lunghezza della tokenizzazione a causa delle diverse codifiche dei caratteri Unicode.

Segmentazione morfologica:

Vantaggi: Potenziale per una migliore comprensione del significato delle parole. Miglioramento delle prestazioni in lingue agglutinanti, come il turco.

Svantaggi: Richiede analisi linguistiche complesse, spesso manuali.

Non sempre produce miglioramenti consistenti rispetto ai metodi basati sulla frequenza.

Considerazioni generali:

La scelta del metodo di tokenizzazione dipende dall’applicazione specifica e dalle lingue coinvolte. Le fonti evidenziano la necessità di una maggiore attenzione all’equità nella tokenizzazione, soprattutto nei modelli multilingue. La disparità nella lunghezza della tokenizzazione può portare a costi più elevati e a prestazioni inferiori per le lingue meno diffuse.

Alcune soluzioni proposte includono:

Parità di tokenizzazione: Sviluppo di tokenizzatori che producono lunghezze di tokenizzazione simili per lo stesso contenuto in diverse lingue.

Tokenizzatori specifici per la lingua: Utilizzo di tokenizzatori progettati per lingue specifiche o gruppi di lingue.

Aggiunta di token per lingue a bassa disponibilità di risorse: Ampliamento dei vocabolari per includere token più frequenti in lingue sottorappresentate.

In definitiva, la tokenizzazione è un’area di ricerca attiva e in continua evoluzione. È fondamentale considerare l’impatto della tokenizzazione sull’equità e l’accessibilità dei modelli linguistici, in particolare con la crescente diffusione di modelli multilingue.

L’impatto della tokenizzazione sulle prestazioni e sui costi dei LLM

La tokenizzazione, il processo di suddivisione del testo in unità atomiche, ha un impatto significativo sia sulle prestazioni che sui costi dei modelli linguistici di grandi dimensioni (LLM). Le scelte fatte durante la progettazione di un tokenizer possono influenzare la lunghezza delle sequenze di token, con conseguenti differenze significative nell’efficienza di elaborazione e nell’equità tra le lingue.

Prestazioni:

Tokenizzazione a livello di sottoparole: questo approccio, in cui parole complesse vengono suddivise in più token, è attualmente il metodo preferito per i modelli linguistici all’avanguardia. Offre diversi vantaggi in termini di prestazioni:

Gestione efficace di termini complessi: suddividendo le parole complesse in parti costitutive, la tokenizzazione a livello di sottoparole consente ai modelli di apprendere rappresentazioni significative anche per parole rare o fuori vocabolario

Vocabolario aperto: questo approccio consente ai modelli di gestire parole nuove, inclusi errori di ortografia, senza la necessità di un vocabolario predefinito .

Efficienza computazionale: rispetto alla tokenizzazione a livello di caratteri, la tokenizzazione a livello di sottoparole riduce la lunghezza delle sequenze di input, migliorando i tempi di addestramento e inferenza .

Tokenizzazione sensibile alla morfologia: per lingue con una morfologia complessa, l’utilizzo di informazioni morfologiche durante la tokenizzazione può migliorare le prestazioni. Ad esempio, l’utilizzo di analizzatori morfologici prima di applicare la tokenizzazione BPE può migliorare le prestazioni di traduzione automatica per lingue come il turco e l’uiguro .

Tokenizzazione a livello di caratteri e byte: mentre questi approcci offrono robustezza al rumore e capacità di vocabolario aperto, soffrono di maggiori tempi di elaborazione a causa di sequenze di input più lunghe ,. Sono generalmente meno efficienti della tokenizzazione a livello di sottoparole, in particolare per le lingue che utilizzano molti caratteri per rappresentare lo stesso contenuto semantico,.

Costi:Disparità di tokenizzazione: diversi tokenizer mostrano significative disparità nella lunghezza della tokenizzazione tra le lingue,. Ad esempio, il tokenizer utilizzato da ChatGPT e GPT- può richiedere fino a volte più token per codificare lo stesso testo in Shan rispetto all’inglese.

Implicazioni di costo: i servizi commerciali in genere addebitano agli utenti per token o carattere Unicode. Queste disparità di tokenizzazione si traducono in costi più elevati per gli utenti di alcune lingue rispetto ad altri per utilizzare lo stesso servizio. Ad esempio, l’elaborazione di un testo in telugu utilizzando l’API di ChatGPT può costare cinque volte di più rispetto all’elaborazione dello stesso testo in inglese .

Latenza: la lunghezza della tokenizzazione influisce direttamente sui tempi di elaborazione ,. Le lingue con tokenizzazioni più lunghe subiranno tempi di elaborazione più lunghi, il che può essere problematico per applicazioni in tempo reale come i servizi di emergenza.

Elaborazione di contesti lunghi: molti modelli hanno una dimensione fissa del contesto. Le lingue con tokenizzazioni più lunghe avranno una capacità ridotta di elaborare contesti lunghi, il che potrebbe portare a prestazioni inferiori in attività come la moderazione dei contenuti.

Verso l’equità della tokenizzazione multilingue:

Per affrontare le disparità di tokenizzazione e promuovere l’equità tra le lingue, è fondamentale lo sviluppo di tokenizer multilingue equi.

Tokenizzazione a livello di sottoparole multilingue: questo approccio prevede la formazione di tokenizer che tengano conto delle caratteristiche specifiche di diverse lingue, mirando a lunghezze di tokenizzazione simili per lo stesso contenuto tra le lingue.

Corpus paralleli equi: la formazione e la valutazione di tokenizer equi richiedono corpus paralleli ben curati che rappresentino in modo equo argomenti, entità nominate e una varietà di traduzioni.

Unione di tokenizer monolingue: un possibile approccio consiste nell’addestrare tokenizer monolingue per ciascuna lingua di destinazione e quindi unirli mantenendo la parità . Questo metodo potrebbe comportare l’utilizzo di più token per la lingua dominante, ma il vantaggio complessivo per le altre lingue supererebbe probabilmente questo costo aggiuntivo .

In conclusione, la tokenizzazione gioca un ruolo cruciale nelle prestazioni e nei costi dei LLM. Affrontare le disparità di tokenizzazione è essenziale per garantire un accesso equo e un trattamento equo per tutte le comunità linguistiche nell’era dei modelli linguistici di grandi dimensioni.

Tokenizzazione e Traduzione: Un’Analisi Interdisciplinare

Glossario dei Termini Chiave

TermineDefinizione
TokenUnità atomica di elaborazione del testo, tradizionalmente corrispondente a unità tipografiche come parole, ma ora spesso riferendosi a sub-parole.
Pre-tokenUnità tipografica di testo, come una parola, prima di essere ulteriormente segmentata in sub-parole.
Sub-paroleUnità di testo più piccole di una parola, utilizzate come token in alcuni modelli di NLP.
Word-formUnità linguisticamente motivata, che può essere composta da uno o più token.
TokenizzazioneProcesso di segmentazione di un testo in token.
Pre-tokenizzazioneProcesso di segmentazione di un testo in pre-token, spesso come primo passo prima della tokenizzazione in sub-parole.
Byte-pair encoding (BPE)Algoritmo di tokenizzazione sub-parole che fonde iterativamente i caratteri più frequenti in unità più grandi.
Unigram language modelModello linguistico che assegna probabilità alle parole in un testo, considerando ogni parola indipendentemente dalle altre.
Token di traduzioneUnità di testo utilizzata come base per la traduzione, può essere una parola, una frase o una sub-parola.
Valore di scambioValore di un bene o servizio in relazione ad altri beni o servizi sul mercato.

Quiz a Risposta Breve

.

Quali sono le due definizioni principali di “token” nell’ambito dell’elaborazione del linguaggio naturale (NLP)?

Storicamente, un “token” si riferiva a unità tipografiche di testo, come le parole separate da spazi. Con l’avvento dei modelli neurali e delle tecniche di tokenizzazione sub-parole, il termine “token” si riferisce ora anche a unità atomiche di elaborazione del testo che possono essere più piccole delle parole, come i morfemi o i caratteri.

.

Descrivere il concetto di “pre-tokenizzazione” e il suo ruolo nei moderni sistemi NLP.

La “pre-tokenizzazione” è il processo di segmentazione del testo in unità tipografiche, come parole e punteggiatura, prima di una ulteriore segmentazione in sub-parole. Questo passaggio è spesso necessario per preservare informazioni strutturali utili per l’analisi linguistica.

.

Come si differenzia la tokenizzazione basata su sub-parole dalla tokenizzazione basata su parole?

La tokenizzazione basata su sub-parole scompone le parole in unità più piccole, come morfemi o caratteri, consentendo di rappresentare parole rare o fuori vocabolario. La tokenizzazione basata su parole, invece, tratta ogni parola come un’unità indivisibile.

.

Spiegare il funzionamento dell’algoritmo Byte-pair encoding (BPE) per la tokenizzazione.

L’algoritmo BPE inizia con un vocabolario di caratteri e fonde iterativamente le coppie di caratteri più frequenti in nuovi token. Questo processo continua fino a raggiungere una dimensione di vocabolario desiderata.

In che modo il modello linguistico Unigram viene utilizzato nella tokenizzazione UnigramLM?ìL’algoritmo UnigramLM utilizza un modello linguistico Unigram per valutare la probabilità di diversi candidati sub-parole. I sub-parole con la probabilità più bassa vengono rimossi iterativamente dal vocabolario fino a raggiungere la dimensione desiderata.

Perché la tokenizzazione è un aspetto importante della traduzione automatica?

La tokenizzazione influenza la granularità dell’unità di traduzione, determinando se la traduzione avviene a livello di parola, frase o sub-parola. La scelta del metodo di tokenizzazione può influire sulla qualità e la fluidità della traduzione7.

Qual è il problema principale della disparità nella tokenizzazione tra lingue diverse?

La disparità nella tokenizzazione significa che lingue diverse richiedono un numero diverso di token per rappresentare lo stesso contenuto. Questo può portare a un trattamento iniquo delle lingue, con alcune lingue che necessitano di codifiche più lunghe e quindi di maggiori risorse computazionali.

Come viene calcolato il “premio di tokenizzazione” e cosa indica?

Il premio di tokenizzazione è il rapporto tra il numero di token necessari per rappresentare un testo in una lingua specifica e il numero di token necessari per rappresentare lo stesso testo in inglese. Un premio di tokenizzazione elevato indica una maggiore disparità nella tokenizzazione.

In che modo l’esempio dei dialetti svizzero-tedeschi illustra il problema della disparità nella tokenizzazione?

I dialetti svizzero-tedeschi richiedono un numero significativamente maggiore di token rispetto al tedesco standard per rappresentare lo stesso contenuto, evidenziando come la tokenizzazione basata su modelli pre-addestrati su dati in inglese possa svantaggiare le varianti linguistiche meno rappresentate.

Quali sono le implicazioni etiche della disparità nella tokenizzazione per i sistemi di NLP?

La disparità nella tokenizzazione può perpetuare pregiudizi linguistici e discriminare lingue o dialetti meno rappresentati. È importante sviluppare metodi di tokenizzazione più equi che tengano conto della diversità linguistica e garantiscano un trattamento equo a tutte le lingue.

Domande Saggio

.

Discutere l’evoluzione del concetto di “token” nell’elaborazione del linguaggio naturale, evidenziando i vantaggi e le sfide delle diverse tecniche di tokenizzazione.

.

Analizzare i pro e i contro dell’utilizzo di sub-parole come unità di elaborazione del testo, considerando l’impatto sulla modellazione linguistica e sulla traduzione automatica.

Esaminare il problema della disparità nella tokenizzazione tra lingue diverse, esplorando le cause e le possibili soluzioni per garantire un trattamento equo a tutte le lingue..

Valutare l’impatto della tokenizzazione sulla qualità della traduzione automatica, analizzando come le diverse scelte di tokenizzazione possono influenzare la fluidità e la fedeltà della traduzione..

Discutere le implicazioni etiche della disparità nella tokenizzazione, esplorando le possibili conseguenze per la diversità linguistica e l’accesso equo alle tecnologie NLP.

FAQ sulla Tokenizzazione nel NLP

Cosa sono i token nel NLP e perché sono importanti?

I token sono le unità fondamentali con cui i modelli di Natural Language Processing (NLP) elaborano il testo. In passato, i token corrispondevano principalmente a unità tipografiche come le parole, separate da spazi. Oggi, con l’avvento di tecniche come la codifica a coppie di byte (BPE) e i modelli linguistici subword, i token possono rappresentare unità più piccole delle parole, come morfemi o sillabe.

La scelta della tokenizzazione è cruciale perché influenza la dimensione del vocabolario, la velocità di inferenza e la capacità del modello di apprendere relazioni significative all’interno del testo.

Qual è la differenza tra pre-tokenizzazione e tokenizzazione?

La pre-tokenizzazione si riferisce alla segmentazione del testo in unità tipografiche, come parole e punteggiatura. È un passo preliminare che precede la tokenizzazione vera e propria, che scompone ulteriormente le unità pre-tokenizzate in subword, caratteri o byte.

Perché si utilizzano i subword invece delle parole intere?

L’uso di subword offre diversi vantaggi:

Vocabolari più piccoli: Rappresentare parole rare o complesse tramite subword riduce la dimensione del vocabolario, rendendo l’apprendimento più efficiente.

Migliore gestione delle parole fuori vocabolario (OOV): I modelli possono gestire parole sconosciute scomponendole in subword noti.

Cattura delle relazioni morfologiche: La scomposizione in subword può aiutare a catturare relazioni tra parole con radici comuni, migliorando la comprensione del modello.

. Quali sono alcuni algoritmi di tokenizzazione comuni?

Esistono diversi algoritmi di tokenizzazione, tra cui:

Byte Pair Encoding (BPE): Unisce iterativamente i caratteri o i byte più frequenti in un unico token, creando un vocabolario basato sulla frequenza.

Unigram Language Model: Valuta la probabilità di un subword in un modello linguistico unigramma e rimuove iterativamente i subword meno probabili fino a raggiungere la dimensione desiderata del vocabolario.

WordPiece: Simile a BPE, ma considera la probabilità di un subword all’interno di una parola durante la fusione.

SentencePiece: Un framework di tokenizzazione che può utilizzare diversi algoritmi, tra cui BPE e Unigram Language Model.

La tokenizzazione può introdurre bias nei modelli NLP?

Sì, la tokenizzazione può introdurre bias, specialmente quando si utilizzano modelli pre-addestrati su grandi quantità di testo in una lingua dominante. Questo può portare a una disparità nella tokenizzazione tra lingue diverse, con alcune lingue che richiedono più token per rappresentare lo stesso contenuto rispetto ad altre.

Ad esempio, un modello pre-addestrato sull’inglese potrebbe tokenizzare la parola “why” in arabo (“اذامل”) in singoli caratteri, mentre la stessa parola in bulgaro (“защо”) potrebbe richiedere sei token, sebbene sia composta da soli quattro caratteri.

Cosa si intende per “tokenization parity”?

La tokenization parity si riferisce all’equità nella tokenizzazione tra lingue diverse. Idealmente, un zmodello NLP dovrebbe richiedere lo stesso numero di token per rappresentare lo stesso contenuto in lingue diverse.

La mancanza di tokenization parity può portare a prestazioni inferiori per le lingue meno rappresentate nei dati di addestramento.

Come si misura la tokenization parity?

La tokenization parity può essere misurata tramite il “tokenizer premium”, che rappresenta il rapporto tra il numero di token richiesti per rappresentare un testo in una lingua diversa rispetto all’inglese. Un tokenizer premium elevato indica una disparità significativa nella tokenizzazione.

Quali sono le sfide future per la tokenizzazione nel NLP?

Le sfide future per la tokenizzazione includono:

Sviluppo di modelli linguistici multilingue più equi: È necessario sviluppare modelli che tengano conto della diversità linguistica e che garantiscano una tokenizzazione equa per tutte le lingue.

Migliorare la tokenizzazione per lingue con morfologia complessa: Alcune lingue presentano una morfologia complessa che rende la tokenizzazione più difficile. Sono necessari algoritmi più sofisticati per gestire queste lingue.

Integrazione di informazioni linguistiche nella tokenizzazione: L’inclusione di informazioni linguistiche, come la struttura morfologica e sintattica, può migliorare la qualità della tokenizzazione.

Conclusioni

La tokenizzazione è un aspetto fondamentale del NLP e la scelta dell’approccio più appropriato può influenzare significativamente le prestazioni del modello. È importante essere consapevoli dei potenziali bias introdotti dalla tokenizzazione e lavorare per sviluppare modelli più equi e inclusivi.

Breve analisi dei temi principali e delle idee chiave sulle unità di testo nell’elaborazione del linguaggio naturale

Questo documento analizza i temi principali e le idee più importanti presentate in tre fonti riguardanti le unità di testo nell’elaborazione del linguaggio naturale (NLP).

Fonte : .58v.pdf

Questa fonte presenta una panoramica storica e tecnica delle diverse unità di testo utilizzate nell’NLP. L’articolo inizia con una tassonomia degli algoritmi di segmentazione e tokenizzazione, evidenziando l’evoluzione da approcci basati su regole e conoscenza linguistica a metodi data-driven e di apprendimento automatico.

Un concetto chiave è la distinzione tra “token” e “word-form”.

“Crucially, as discussed in detail by Clément et al. (5), Sagot and Boullier (8) and elsewhere, there is no one-to-one correspondence between tokens and word-forms; a word-form can be made of several tokens (e.g. French or English sine die) whereas several word-forms can be represented by the same token (e.g. English don’t = do + not, Spanish damélo = da + me + lo).”

L’articolo prosegue analizzando l’evoluzione del concetto di “token” nel tempo, evidenziando come l’avvento di modelli neurali abbia portato all’uso di unità subword. La “pre-tokenizzazione” è quindi diventata un passaggio preliminare per dividere il testo in unità tipografiche prima di una successiva segmentazione in subword.

Vengono poi descritti diversi approcci alla segmentazione subword, tra cui il Byte Pair Encoding (BPE) e l’Unigram Language Model (UnigramLM).

Fonte :.55v.pdf

Questa fonte si concentra sulla “parità di tokenizzazione”, ovvero l’equità nella rappresentazione di diverse lingue in termini di lunghezza delle codifiche. L’articolo evidenzia come i modelli di NLP centrati sull’inglese presentino spesso una disparità significativa nella tokenizzazione di altre lingue.

Ad esempio, la Tabella  mostra i “premi di tokenizzazione” su un dataset multilingue per diversi modelli. Il premio di tokenizzazione è calcolato come il rapporto tra la lunghezza della tokenizzazione in una lingua rispetto all’inglese. Un premio elevato indica una codifica più lunga rispetto all’inglese, evidenziando una disparità.

“The results in Table show a disparity between the tokenization lengths for High German and the Swiss dialects with a premium ranging from .8 for the Zürich dialect, or Züritüütsch, to .59 for the Bernese Bärndütsch. In fact, English has a lower premium than any Swiss dialect (.5 on FLORES-, Table )”

L’articolo analizza le disparità di tokenizzazione in diversi contesti, inclusi dialetti svizzeri tedeschi e arabi, dimostrando come i modelli addestrati su lingue standard spesso non riescano a rappresentare adeguatamente le varianti dialettali.

Inoltre, l’articolo analizza il tempo di elaborazione e la lunghezza delle codifiche per diversi modelli, evidenziando un compromesso tra efficienza computazionale e parità di tokenizzazione.

Fonte: MicroMega_ – AA.VV__extract.pdf

Questa fonte si concentra sull’aspetto filosofico e storico della “traducibilità” come evento storico legato alla creazione di “token”. Il volume Tokens of Exchange di Lydia H. Liu, analizzato nell’articolo, mette in luce come la traducibilità sia un’aspirazione universalista del XIX secolo, come l’invenzione del sistema metrico, del sistema aureo, del servizio postale moderno, del diritto internazionale e della telegrafia.

“In questo senso, la designazione di “token”, nella sua accezione sia linguistica, in quanto “segno”, che economica, in quanto “prova” di un valore, non distingue tra scambio simbolico e circolazione materiale, nella misura in cui sia i segni che gli oggetti partecipano alla logica dell’equivalenza, o non equivalenza, stabilita dal valore di scambio: «Considero la traduzione come un agente primario di creazione di token nella sua capacità di consentire lo scambio, producendo e facendo circolare significato come valore tra lingue e mercati».”

L’articolo riprende l’analisi di Liu, basata sulla teoria del valore di Marx, per dimostrare come lo scambio linguistico nella traduzione, pur presupponendo un’equivalenza, sia in realtà un processo diseguale. La quantificazione del “tempo di lavoro socialmente necessario” per la traduzione, come per le merci, non corrisponde alla quantità effettiva di lavoro richiesta.

L’articolo fa riferimento anche a Ferdinand de Saussure e alla sua concezione del “valore linguistico”, evidenziando l’analogia con la moneta per spiegare il rapporto tra significante e significato.

“Così per determinare che cosa vale un pezzo da cinque franchi, bisogna sapere: a) che lo si può scambiare con una determinata quantità di una cosa diversa, per esempio con del pane; b) che lo si può confrontare con un valore simile del medesimo sistema, per esempio un pezzo da un franco, o con una moneta di un altro sistema (un”

Conclusioni

Le tre fonti analizzate mettono in luce diversi aspetti cruciali relativi alle unità di testo nell’NLP.

La prima fonte evidenzia l’evoluzione tecnica da metodi basati su regole a modelli data-driven e l’avvento delle unità subword.

La seconda fonte si concentra sulla disparità di tokenizzazione tra lingue, evidenziando la necessità di modelli più equi ed inclusivi.

Infine, la terza fonte analizza l’aspetto filosofico e storico della traducibilità, dimostrando come lo scambio linguistico sia intrinsecamente un processo diseguale, pur aspirando all’equivalenza.

Le tre fonti analizzate offrono quindi una prospettiva completa sui diversi aspetti legati alle unità di testo nell’NLP, evidenziando la complessità e le sfide che questa area di ricerca continua ad affrontare.

Esplorando la Tokenizzazione: Un’Analisi Linguistica e Computazionale

“.58v.pdf”: Un’indagine sulla segmentazione del testo nell’elaborazione del linguaggio naturale

Introduzione: Questo articolo esplora l’evoluzione della tokenizzazione nell’elaborazione del linguaggio naturale (NLP), esaminando diversi approcci, dai metodi basati su caratteri e parole a quelli basati su subword.

Definizioni e Terminologia (§): Questa sezione definisce i concetti chiave di token, forme di parole e subword, evidenziando le sfide nella definizione di unità linguistiche e l’evoluzione del termine “tokenizzazione” nell’era dei modelli linguistici neurali.

Pre-tokenizzazione e Unità Tipografiche Simili a Parole (§): Questa sezione discute l’uso di unità tipografiche come approssimazione delle forme di parole, presentando strumenti come il tokenizer Moses e il pacchetto Tokenizers di Hugging Face. Vengono inoltre analizzate le operazioni di normalizzazione e le sfide dell’irreversibilità del processo di tokenizzazione.

Integrazione di Informazioni Intra-Parola (§): Questa sezione esplora l’uso di informazioni interne alle parole per migliorare la rappresentazione delle unità linguistiche, facilitato dai modelli neurali.

Segmentazione e Scoperta di Parole Non Supervisionate (§5): Questa sezione esamina la ricerca sulla segmentazione delle parole senza supervisione, evidenziando il suo ruolo nella tokenizzazione basata su subword.

Unità Subword come Token Atomici (§6): Questa sezione si concentra sull’uso diffuso delle unità subword come token atomici, analizzando algoritmi come BPE, WordPiece e Unigram LM.

Condivisione e Competizione nei Vocabolari Multilingue (§7): Questa sezione affronta le sfide della tokenizzazione in contesti multilingue, concentrandosi sulla condivisione e la competizione tra vocabolari.

Elaborazione a Livello di Carattere, Byte e Pixel (§8): Questa sezione esplora gli approcci che utilizzano la scomposizione massima del testo in caratteri, byte o persino pixel.

Conclusione: L’articolo conclude che non esiste una soluzione unica per la tokenizzazione e che la scelta del metodo dipende dall’applicazione specifica.

“5.55v.pdf”: Analisi della parità di tokenizzazione nei modelli linguistici

Introduzione: Questo articolo analizza la “parità di tokenizzazione”, ovvero la differenza nella lunghezza della tokenizzazione tra lingue diverse in vari modelli linguistici, concentrandosi sull’impatto sui linguaggi a bassa risorsa.

Definizione di Glitch Token: Vengono introdotti i “glitch token”, ovvero token che rappresentano parole oscure o nomi propri, evidenziando la loro presenza anche in modelli come GPT1.

Analisi del Premium di Tokenizzazione (Tabella ): Questa sezione presenta un’analisi comparativa del “premium di tokenizzazione”, ovvero il rapporto tra la lunghezza della tokenizzazione di una lingua e quella dell’inglese, in vari modelli, tra cui Arabic BERT, RoCBert e CamemBERT.

Esempi di Disparità di Tokenizzazione: Vengono forniti esempi concreti di disparità di tokenizzazione, come il caso della parola “perché” in arabo e bulgaro, e la scomposizione di caratteri Shan in più token.

Dialetti Tedeschi Svizzeri (Tabella): Questa sezione analizza la disparità di tokenizzazione tra il tedesco standard e i dialetti svizzeri in GottBERT, evidenziando un premium di tokenizzazione elevato anche per i dialetti rispetto all’inglese.

Dialetti Arabi: Viene discussa la diglossia nel mondo arabo e la sfida di rappresentare i diversi dialetti arabi nei modelli linguistici.

Dialetti Giapponesi (Tabella): Questa sezione analizza la parità di tokenizzazione tra il giapponese standard e diversi dialetti giapponesi nel tokenizer BERT Japanese, utilizzando il dataset CPJD.

Tabelle Estese dei Premium di Tokenizzazione (Appendice C): L’appendice C presenta tabelle estese dei premium di tokenizzazione per un’ampia gamma di modelli linguistici, tra cui LLAMA, MBart5 e SeamlessMT.

Conclusione: L’articolo conclude che esiste una significativa disparità di tokenizzazione tra le lingue, con i modelli “inglese-centrici” che mostrano un bias verso l’inglese. Questa disparità impatta negativamente le prestazioni dei modelli linguistici per le lingue a bassa risorsa e richiede un’attenzione specifica per garantire un trattamento equo per tutte le lingue.

“MicroMega_ – AA.VV__extract.pdf”: Token di Traduzione: Un’analisi del concetto di traducibilità

Introduzione: Questo estratto esplora il concetto di traducibilità come evento storico, analizzando il ruolo dei “token” nello scambio linguistico e il loro legame con l’economia politica.

Il Lavoro di Lydia H. Liu in “Tokens of Exchange”: Questa sezione introduce il lavoro di Lydia H. Liu, che inquadra la traducibilità come un’aspirazione universalista del XIX secolo, paragonandola all’invenzione del sistema metrico e della telegrafia. Liu considera la traduzione come un processo di creazione di token che consentono lo scambio di significato tra lingue e mercati.

L’Influenza di Marx e la Teoria del Valore: Questa sezione analizza l’influenza di Marx sulla teoria di Liu, concentrandosi sulla nozione di tempo di lavoro e sulla sua oggettivazione nello scambio di merci. Viene evidenziato il parallelismo tra il valore di scambio in economia e l’equivalenza linguistica nella traduzione, entrambi basati sulla creazione di equivalenti da elementi non equivalenti.

Il “Linguaggio delle Merci” in Marx e Saussure: Questa sezione esplora il concetto di “linguaggio delle merci” (Warensprache) in Marx e il suo parallelo con l’idea di Saussure che la lingua sia un sistema di puri valori. Entrambi gli autori riconoscono l’interdipendenza tra scambio economico e scambio linguistico, basati sulla creazione di sistemi di equivalenza.

La Natura Arbitraria del Segno e l’Analogia della Moneta: Questa sezione analizza le differenze tra Marx e Saussure nella comprensione del valore linguistico. Mentre per Marx il valore di scambio può essere analizzato in termini di lavoro astratto e valore d’uso, per Saussure il valore linguistico è determinato dall’interdipendenza dei termini all’interno di un sistema linguistico. Per illustrare questo concetto, Saussure ricorre all’analogia della moneta, evidenziando l’importanza sia dello scambio con un valore diverso sia del confronto con valori simili all’interno di un sistema.

Conclusione: L’estratto conclude evidenziando l’importanza del concetto di “token” nella comprensione della traducibilità e del suo legame con l’economia politica. L’analisi di Liu, basata sulle teorie di Marx e Saussure, offre una prospettiva critica sul processo di traduzione, evidenziando le sue implicazioni sociali e politiche.