JwumaHet verkrijgen van data voor talen met weinig bronnen en waarom er geen snelle oplossingen zijn
· 3 min leestijd · languages, specification
Deze vertaling is machinaal gemaakt en niet gecontroleerd door een moedertaalspreker. Bij twijfel geldt de Engelse versie. Laat het ons weten als iets niet klopt, dan corrigeren wij het. English
Weinig bronnen betekent dat er weinig bruikbare data bestaat, niet dat er weinig sprekers zijn. Scraping levert niets op, vertaling produceert vertaalde tekst in plaats van native gebruik, en synthetische generatie vereist een model dat al bekwaam is in de taal. De enige route is dat moedertaalsprekers nieuw materiaal produceren, wat betekent dat sourcing in de regio de beperkende factor is.
Kort samengevat
- Weinig bronnen verwijst naar de beschikbaarheid van data, niet naar het aantal sprekers.
- Vertaalde corpora leren een vertaald register, niet native gebruik.
- Synthetische generatie is circulair voor talen die een model slecht beheerst.
- Sourcing hangt af van fysieke aanwezigheid in de taalgemeenschap.
- Corpshore dekt talen zoals Twi, Karakalpak en Wayuu.
Bent u zoiets aan het uitwerken?
Wij bespreken liever het probleem dan een offerte op volume.
Bekijk onze dienstenWaarom faalt scraping hier?
Omdat het materiaal niet online in bruikbare hoeveelheid bestaat. Dat is wat de taal in de eerste plaats tot een taal met weinig bronnen maakt. Harder scrapen creëert geen tekst die nooit is geschreven.
Wat scraping wel vindt, zijn vaak religieuze vertalingen, overheidsmededelingen en nieuws, wat een smal en formeel register is dat een systeem traint dat niet met gesprekken kan omgaan.
Waarom faalt vertaling?
Omdat een corpus van Engelse zinnen vertaald naar een doeltaal het model een vertaald register leert. Moedertaalsprekers spreken niet op die manier, en de mismatch verschijnt onmiddellijk in echt gebruik.
Het importeert ook de thematische verdeling van de brontaal, zodat het resulterende systeem vloeiend is over onderwerpen die het broncorpus behandelde en verloren is op onderwerpen die lokaal van belang zijn.
Waarom is synthetische generatie circulair?
Omdat het genereren van bruikbare trainingsdata voor een taal een model vereist dat al bekwaam is in die taal. Als je dat had, zou je de data niet nodig hebben.
Synthetische augmentatie heeft echte toepassingen zodra je een authentiek zaadcorpus hebt. Het kan er geen creëren.
Wat is er werkelijk nodig voor sourcing?
Moedertaalsprekers die nieuw materiaal produceren, wat betekent dat er geworven moet worden in de taalgemeenschap in plaats van online in het algemeen. Voor veel talen met weinig bronnen is de sprekerspopulatie geografisch geconcentreerd, dus dit is een probleem van fysieke aanwezigheid voordat het een platformprobleem is.
Verwacht dat tijdlijnen dat weerspiegelen. Een taal zonder bestaand corpus en een verspreide sprekerspopulatie is een sourcingoefening van meerdere maanden, en elke leverancier die anders citeert, besteedt het werk uit aan vertaling of heeft de vraag niet begrepen.
- Werving binnen de taalgemeenschap
- Native productie, geen vertaling
- Realistische tijdlijnen voor corpuscreatie vanaf nul
- Register en domeindekking expliciet gespecificeerd
Andere vragen
Wat is een taal met weinig bronnen in machine learning?
Een taal met weinig bruikbare digitale data beschikbaar voor training, ongeacht het aantal sprekers. Sommige talen met tientallen miljoenen sprekers hebben weinig bronnen.
Kan ik vertaalde tekst gebruiken om een model voor een taal met weinig bronnen te trainen?
Het leert een vertaald register in plaats van native gebruik en importeert de thematische verdeling van het broncorpus. De mismatch wordt onmiddellijk zichtbaar bij echte gebruikers.
Kan synthetische data de hiaten in talen met weinig bronnen oplossen?
Niet vanaf nul. Het genereren van bruikbare data vereist een model dat al bekwaam is in de taal, wat circulair is. Synthetische augmentatie is alleen nuttig zodra er een authentiek native zaadcorpus bestaat.