JwumaDüşük kaynaklı dil verilerini tedarik etmek ve neden kestirme bir yolu olmadığı
· 2 dk okuma · languages, specification
Bu çeviri makine tarafından üretilmiştir ve ana dili konuşan biri tarafından kontrol edilmemiştir. Tereddüt halinde İngilizce sürüm esastır. Yanlış görünen bir şey varsa bize bildirin, düzeltelim. English
Düşük kaynaklı, az sayıda konuşmacı değil, az kullanılabilir veri olduğu anlamına gelir. Kazıma hiçbir şey bulmaz, çeviri yerel kullanım yerine çevrilmiş metin üretir ve sentetik üretim zaten dilde yetkin bir model gerektirir. Tek yol, yerel konuşmacıların yeni materyal üretmesidir ki bu da bölge içi tedariki bağlayıcı kısıt yapar.
Kısaca
- Düşük kaynaklı, veri mevcudiyetine atıfta bulunur, konuşmacı sayısına değil.
- Çevrilmiş derlemeler çevrilmiş dili öğretir, yerel kullanımı değil.
- Sentetik üretim, bir modelin dili kötü ele aldığı diller için döngüseldir.
- Tedarik, dil topluluğunda fiziksel varlığa bağlıdır.
- Corpshore, Twi, Karakalpak ve Wayuu gibi dilleri kapsar.
Benzer bir proje mi planlıyorsunuz?
Hacim üzerinden fiyat vermek yerine sorunu konuşmayı tercih ederiz.
Hizmetleri görünKazıma burada neden başarısız olur?
Çünkü kullanılabilir miktarda materyal çevrimiçi olarak mevcut değildir. Bu, dili baştan düşük kaynaklı yapan şeydir. Daha fazla kazımak, hiç yazılmamış metni yaratmaz.
Kazıma ile bulunanlar genellikle dini çeviriler, hükümet bildirimleri ve haberlerdir ki bunlar, konuşmayı ele alamayan bir sistemi eğiten dar ve resmi bir dildir.
Çeviri neden başarısız olur?
Çünkü hedef dile çevrilmiş İngilizce cümlelerden oluşan bir derlem, modele çevrilmiş dili öğretir. Yerel konuşmacılar bu şekilde konuşmaz ve uyumsuzluk gerçek kullanımda hemen ortaya çıkar.
Ayrıca kaynak dilin konusal dağılımını da ithal eder, bu nedenle ortaya çıkan sistem, kaynak derlemin kapsadığı konularda akıcıdır ve yerel olarak önemli olan konularda yetersiz kalır.
Sentetik üretim neden döngüseldir?
Çünkü bir dil için kullanılabilir eğitim verisi üretmek, zaten o dilde yetkin bir model gerektirir. Eğer bunu elde etmiş olsaydınız, veriye ihtiyacınız olmazdı.
Sentetik artırma, gerçek bir tohum derlemine sahip olduğunuzda gerçek kullanımlara sahiptir. Bir tane yaratamaz.
Tedarik aslında ne gerektirir?
Yeni materyal üreten yerel konuşmacılar, bu da dil topluluğunda çevrimiçi olarak değil, doğrudan işe alım anlamına gelir. Birçok düşük kaynaklı dil için konuşmacı nüfusu coğrafi olarak yoğunlaşmıştır, bu nedenle bu, bir platform sorunu olmadan önce bir fiziksel varlık sorunudur.
Zaman çizelgelerinin bunu yansıtmasını bekleyin. Mevcut bir derlemi olmayan ve dağınık bir konuşmacı nüfusu olan bir dil, çok aylık bir tedarik çalışmasıdır ve aksi yönde teklif veren herhangi bir tedarikçi ya çeviri için alt yüklenici kullanıyor ya da talebi anlamamıştır.
- Dil topluluğu içinde işe alım
- Çeviri değil, yerel üretim
- Sıfırdan derlem oluşturma için gerçekçi zaman çizelgeleri
- Kapsam ve alanın açıkça belirtilmesi
Diğer sorular
Makine öğreniminde düşük kaynaklı dil nedir?
Konuşmacı sayısından bağımsız olarak eğitim için kullanılabilir dijital verinin az olduğu bir dil. On milyonlarca konuşmacıya sahip bazı diller düşük kaynaklıdır.
Düşük kaynaklı bir dil modeli eğitmek için çevrilmiş metin kullanabilir miyim?
Çevrilmiş dili öğretir, yerel kullanımı değil ve kaynak derlemin konusal dağılımını ithal eder. Uyumsuzluk gerçek kullanıcılarla hemen ortaya çıkar.
Sentetik veri düşük kaynaklı dil boşluklarını çözebilir mi?
Sıfırdan değil. Kullanılabilir veri üretmek, zaten dilde yetkin bir model gerektirir ki bu döngüseldir. Sentetik artırma, yalnızca gerçek bir yerel tohum derlemi olduğunda faydalıdır.