JwumaPozyskiwanie danych językowych o niskiej zasobności i dlaczego nie można tego uprościć
· 2 min czytania · languages, specification
To tłumaczenie zostało wykonane maszynowo i nie zostało sprawdzone przez native speakera. W razie wątpliwości obowiązuje wersja angielska. Napisz nam, jeśli coś brzmi błędnie, a poprawimy. English
Niska zasobność oznacza małą ilość użytecznych danych, a nie małą liczbę mówców. Scraping nic nie znajduje, tłumaczenie tworzy tekst przetłumaczony zamiast rodzimego użycia, a generowanie syntetyczne wymaga modelu już biegłego w języku. Jedyną drogą jest tworzenie nowego materiału przez rodzimych mówców, co sprawia, że pozyskiwanie w regionie jest kluczowym ograniczeniem.
W skrócie
- Niska zasobność odnosi się do dostępności danych, a nie liczby mówców.
- Tłumaczone korpusy uczą przetłumaczonego rejestru, a nie rodzimego użycia.
- Generowanie syntetyczne jest błędne kołowo dla języków, z którymi model sobie słabo radzi.
- Pozyskiwanie zależy od fizycznej obecności w społeczności językowej.
- Corpshore obejmuje języki takie jak Twi, Karakalpak i Wayuu.
Planujesz podobny projekt?
Wolimy rozmawiać o problemie niż wyceniać sam wolumen.
Zobacz nasze możliwościDlaczego scraping tutaj zawodzi?
Ponieważ materiał nie istnieje w sieci w użytecznej ilości. To właśnie czyni język nisko zasobnym. Intensywniejszy scraping nie stworzy tekstu, który nigdy nie został napisany.
To, co scraping znajdzie, to często tłumaczenia religijne, ogłoszenia rządowe i wiadomości, co jest wąskim i formalnym rejestrem, który trenuje system niezdolny do obsługi rozmów.
Dlaczego tłumaczenie zawodzi?
Ponieważ korpus zdań angielskich przetłumaczonych na język docelowy uczy model przetłumaczonego rejestru. Rodzimi mówcy nie mówią w ten sposób, a niezgodność pojawia się natychmiast w rzeczywistym użyciu.
Importuje także rozkład tematyczny języka źródłowego, więc powstały system jest biegły w tematach, które obejmował korpus źródłowy, a nie radzi sobie z tematami ważnymi lokalnie.
Dlaczego generowanie syntetyczne jest błędne kołowo?
Ponieważ generowanie użytecznych danych treningowych dla języka wymaga modelu już biegłego w tym języku. Gdybyś go miał, nie potrzebowałbyś danych.
Syntetyczna augmentacja ma realne zastosowania, gdy już istnieje prawdziwy korpus początkowy. Nie może go stworzyć.
Czego naprawdę wymaga pozyskiwanie danych?
Tworzenia nowego materiału przez rodzimych mówców, co oznacza rekrutację w społeczności językowej, a nie w sieci ogólnie. Dla wielu języków o niskiej zasobności populacja mówców jest geograficznie skoncentrowana, więc jest to problem fizycznej obecności, zanim stanie się problemem platformy.
Oczekuj, że harmonogramy będą to odzwierciedlać. Język bez istniejącego korpusu i rozproszona populacja mówców to wielomiesięczne przedsięwzięcie pozyskiwania, a każdy dostawca, który twierdzi inaczej, albo zleca tłumaczenie, albo nie zrozumiał zadania.
- Rekrutacja w społeczności językowej
- Rodzima produkcja, nie tłumaczenie
- Realistyczne harmonogramy tworzenia korpusu od zera
- Rejestr i zakres tematyczny określone wyraźnie
Inne pytania
Co to jest język o niskiej zasobności w uczeniu maszynowym?
Język z małą ilością dostępnych cyfrowych danych użytecznych do treningu, niezależnie od liczby mówców. Niektóre języki z dziesiątkami milionów mówców są nisko zasobne.
Czy mogę użyć przetłumaczonego tekstu do trenowania modelu języka o niskiej zasobności?
Uczy przetłumaczonego rejestru zamiast rodzimego użycia i importuje rozkład tematyczny korpusu źródłowego. Niezgodność ujawnia się natychmiast przy rzeczywistych użytkownikach.
Czy dane syntetyczne mogą rozwiązać luki w językach o niskiej zasobności?
Nie od zera. Generowanie użytecznych danych wymaga modelu już biegłego w języku, co jest błędne kołowo. Syntetyczna augmentacja jest użyteczna tylko wtedy, gdy istnieje prawdziwy rodzimy korpus początkowy.