Jwumaتوفير بيانات اللغة ذات الموارد المحدودة، ولماذا لا يمكن اختصارها
· 2 دقيقة قراءة · languages, specification
أُنتجت هذه الترجمة آلياً ولم يراجعها متحدث أصلي. عند الالتباس، النسخة الإنجليزية هي الأصل. أخبرنا إذا كان هناك خطأ وسنصححه. English
الموارد المحدودة تعني وجود بيانات قابلة للاستخدام بشكل قليل، وليس عدد قليل من المتحدثين. الكشط لا يجد شيئًا، الترجمة تنتج نصوصًا مترجمة بدلاً من الاستخدام الأصلي، والتوليد الاصطناعي يتطلب نموذجًا متمكنًا بالفعل في اللغة. الطريق الوحيد هو إنتاج المتحدثين الأصليين لمواد جديدة، مما يجعل التوفير في المنطقة هو القيد الملزم.
باختصار
- تشير الموارد المحدودة إلى توفر البيانات، وليس عدد المتحدثين.
- تعلم المجموعات المترجمة السجل المترجم، وليس الاستخدام الأصلي.
- التوليد الاصطناعي دائري للغات التي يتعامل معها النموذج بشكل سيء.
- يعتمد التوفير على الوجود الفعلي في مجتمع اللغة.
- تغطي Corpshore لغات تشمل Twi وKarakalpak وWayuu.
لماذا يفشل الكشط هنا؟
لأن المادة لا توجد على الإنترنت بكمية قابلة للاستخدام. هذا ما يجعل اللغة ذات موارد محدودة في المقام الأول. الكشط بشكل أكبر لا يخلق نصًا لم يُكتب أبدًا.
ما يجده الكشط غالبًا هو ترجمات دينية، إشعارات حكومية وأخبار، وهو سجل ضيق ورسمي يدرب نظامًا غير قادر على التعامل مع المحادثة.
لماذا تفشل الترجمة؟
لأن مجموعة من الجمل الإنجليزية المترجمة إلى لغة الهدف تعلم النموذج السجل المترجم. المتحدثون الأصليون لا يتحدثون بهذه الطريقة، ويظهر التباين فورًا في الاستخدام الحقيقي.
كما أنها تستورد توزيع المواضيع للغة المصدر، لذا فإن النظام الناتج يكون طليقًا في المواضيع التي غطتها مجموعة المصدر ويضيع في المواضيع التي تهم محليًا.
لماذا التوليد الاصطناعي دائري؟
لأن توليد بيانات تدريب قابلة للاستخدام للغة يتطلب نموذجًا متمكنًا بالفعل في تلك اللغة. إذا كان لديك ذلك، فلن تحتاج إلى البيانات.
للتعزيز الاصطناعي استخدامات حقيقية بمجرد أن يكون لديك مجموعة بذور حقيقية. لا يمكنه إنشاء واحدة.
ما الذي يتطلبه التوفير فعليًا؟
إنتاج المتحدثين الأصليين لمواد جديدة، مما يعني التوظيف في مجتمع اللغة بدلاً من الإنترنت بشكل عام. بالنسبة للعديد من اللغات ذات الموارد المحدودة، يكون عدد المتحدثين مركزًا جغرافيًا، لذا فإن هذه مشكلة وجود فعلي قبل أن تكون مشكلة منصة.
توقع أن تعكس الجداول الزمنية ذلك. اللغة التي لا تحتوي على مجموعة موجودة وعدد المتحدثين فيها متفرق هي تمرين توفير يستغرق عدة أشهر، وأي مورد يقتبس خلاف ذلك إما يتعاقد من الباطن للترجمة أو لم يفهم الطلب.
- التوظيف داخل مجتمع اللغة
- الإنتاج الأصلي، وليس الترجمة
- جداول زمنية واقعية لإنشاء مجموعة من الصفر
- تحديد السجل وتغطية المجال بشكل صريح
أسئلة أخرى
ما هي اللغة ذات الموارد المحدودة في تعلم الآلة؟
لغة تحتوي على بيانات رقمية قابلة للاستخدام قليلة للتدريب، بغض النظر عن عدد المتحدثين. بعض اللغات التي يتحدث بها عشرات الملايين من الأشخاص تعتبر ذات موارد محدودة.
هل يمكنني استخدام النص المترجم لتدريب نموذج لغة ذات موارد محدودة؟
يعلم السجل المترجم بدلاً من الاستخدام الأصلي، ويستورد توزيع المواضيع لمجموعة المصدر. يظهر التباين فورًا مع المستخدمين الحقيقيين.
هل يمكن للبيانات الاصطناعية حل فجوات اللغة ذات الموارد المحدودة؟
ليس من الصفر. يتطلب توليد بيانات قابلة للاستخدام نموذجًا متمكنًا بالفعل في اللغة، وهو دائري. التعزيز الاصطناعي مفيد فقط بمجرد وجود مجموعة بذور أصلية حقيقية.