JwumaAcquisire dati linguistici per lingue a bassa risorsa e perché non ci sono scorciatoie
· 3 min di lettura · languages, specification
Questa traduzione è stata prodotta automaticamente e non è stata verificata da un madrelingua. In caso di dubbio, fa fede la versione inglese. Segnalaci eventuali errori e li correggeremo. English
Bassa risorsa significa che esistono pochi dati utilizzabili, non pochi parlanti. Lo scraping non trova nulla, la traduzione produce testo tradotto piuttosto che uso nativo, e la generazione sintetica richiede un modello già competente nella lingua. L'unica via è che i parlanti nativi producano nuovo materiale, il che rende l'acquisizione in loco il vincolo principale.
In breve
- Bassa risorsa si riferisce alla disponibilità di dati, non al numero di parlanti.
- I corpora tradotti insegnano il registro tradotto, non l'uso nativo.
- La generazione sintetica è circolare per le lingue che un modello gestisce male.
- L'acquisizione dipende dalla presenza fisica nella comunità linguistica.
- Corpshore copre lingue tra cui Twi, Karakalpak e Wayuu.
Stai definendo un progetto simile?
Preferiamo parlare del problema piuttosto che quotare un volume.
Vedi i serviziPerché lo scraping fallisce qui?
Perché il materiale non esiste online in quantità utilizzabile. È questo che rende la lingua a bassa risorsa. Scraping più intenso non crea testo che non è mai stato scritto.
Ciò che lo scraping trova è spesso traduzione religiosa, avvisi governativi e notizie, che è un registro stretto e formale che addestra un sistema incapace di gestire la conversazione.
Perché la traduzione fallisce?
Perché un corpus di frasi inglesi tradotte in una lingua di destinazione insegna al modello il registro tradotto. I parlanti nativi non parlano in quel modo, e la discrepanza appare immediatamente nell'uso reale.
Importa anche la distribuzione tematica della lingua di origine, quindi il sistema risultante è fluente su argomenti trattati dal corpus di origine e carente su argomenti che contano localmente.
Perché la generazione sintetica è circolare?
Perché generare dati di addestramento utilizzabili per una lingua richiede un modello già competente in quella lingua. Se lo avessi, non avresti bisogno dei dati.
L'augmentazione sintetica ha usi reali una volta che si ha un vero corpus seme. Non può crearne uno.
Cosa richiede effettivamente l'acquisizione?
I parlanti nativi che producono nuovo materiale, il che significa reclutare nella comunità linguistica piuttosto che online in generale. Per molte lingue a bassa risorsa la popolazione di parlanti è geograficamente concentrata, quindi questo è un problema di presenza fisica prima che di piattaforma.
Aspettatevi che i tempi riflettano questo. Una lingua senza un corpus esistente e con una popolazione di parlanti dispersa è un esercizio di acquisizione di più mesi, e qualsiasi fornitore che citi diversamente sta subappaltando alla traduzione o non ha compreso la richiesta.
- Reclutamento all'interno della comunità linguistica
- Produzione nativa, non traduzione
- Tempi realistici per la creazione di un corpus da zero
- Registro e copertura del dominio specificati esplicitamente
Altre domande
Cos'è una lingua a bassa risorsa nell'apprendimento automatico?
Una lingua con pochi dati digitali utilizzabili disponibili per l'addestramento, indipendentemente dal numero di parlanti. Alcune lingue con decine di milioni di parlanti sono a bassa risorsa.
Posso usare testo tradotto per addestrare un modello di lingua a bassa risorsa?
Insegna il registro tradotto piuttosto che l'uso nativo, e importa la distribuzione tematica del corpus di origine. La discrepanza appare immediatamente con gli utenti reali.
I dati sintetici possono risolvere le lacune delle lingue a bassa risorsa?
Non da zero. Generare dati utilizzabili richiede un modello già competente nella lingua, il che è circolare. L'augmentazione sintetica è utile solo una volta che esiste un vero corpus seme nativo.