Jwumaلماذا يفشل نموذج التعرف على الكلام في التعامل مع الكلام المتعدد اللغات
· 2 دقيقة قراءة · speech, evaluation
أُنتجت هذه الترجمة آلياً ولم يراجعها متحدث أصلي. عند الالتباس، النسخة الإنجليزية هي الأصل. أخبرنا إذا كان هناك خطأ وسنصححه. English
تفترض معظم أنظمة التعرف على الكلام وجود لغة واحدة لكل جملة. يغير المتحدثون المتعددون اللغات اللغة في منتصف الجملة، مما يؤدي إلى فشل صامت: يقوم النظام بنسخ اللغة السائدة ويتجاهل أو يشوه الباقي. عادة ما يتم قياسه بشكل غير كافٍ لأن مجموعات الاختبار أحادية اللغة لا تحتوي على هذه الظاهرة.
باختصار
- التبديل بين اللغات يعني تغيير اللغة داخل جملة واحدة.
- إنه كلام طبيعي في معظم أنحاء أفريقيا وجنوب آسيا وجنوب شرق آسيا.
- لا يمكن لمجموعات الاختبار أحادية اللغة اكتشاف فشل التبديل بين اللغات.
- يتطلب الوسم وجود م annotators يجيدون اللغتين، وليس واحدة فقط.
- يجب تحديد الاتفاقيات الخاصة بالكلمات المفردة المستعارة بشكل صريح.
كيف يبدو الفشل فعلياً؟
ليس رسالة خطأ. يقوم النظام بنسخ الأجزاء باللغة التي يتوقعها ويشوه أو يهمل الباقي بصمت، مما ينتج عنه مخرجات تبدو معقولة لكنها تفتقد للمحتوى.
لأن المخرجات تكون جيدة التكوين، فإن فحوصات الجودة اللاحقة تمر. لهذا السبب يتم اكتشاف المشكلة عادة من قبل المستخدمين وليس من خلال التقييم.
لماذا يتم قياسه بشكل غير كافٍ؟
لأن مجموعات الاختبار لا تحتوي عليه. مجموعة بيانات مجمعة كتسجيلات نظيفة بلغة واحدة، ثم مقسمة إلى تدريب واختبار، لا يمكنها الكشف عن نمط فشل يتطلب إدخالاً مختلط اللغة ليظهر.
الخطوة الأولى هي تقريباً دائماً بناء مجموعة تقييم تحتوي على كلام حقيقي متبدل اللغة، قبل تكليف أي بيانات تدريبية. قياس الفجوة أرخص من افتراض حجمها.
من يمكنه فعلاً وسمها؟
شخص يجيد اللغتين فعلياً. ليس متحدثاً بطلاقة في واحدة مع معرفة كتابية بالأخرى، لأن الحدود غالباً ما تكون غامضة وحلها يتطلب حدساً أصلياً في كلتا اللغتين.
هذا هو القيد الذي يحدد جدوى المشروع. بالنسبة لزوج لغوي حيث يكون عدد الأشخاص الذين يجيدون اللغتين قليلاً، فإن مجموعة الم annotators هي الحد القيد، وليس الميزانية.
ما هي قرارات الاتفاقيات الأكثر أهمية؟
كيفية التعامل مع كلمة مستعارة واحدة داخل جملة أحادية اللغة. ما إذا كانت الكلمة المستعارة المعروفة تعتبر تبديلًا. كيفية وضع علامة على المزج الصرفي حيث يأخذ جذر من لغة واحدة لاحقة من أخرى.
كل منها له إجابة قابلة للدفاع ولا توجد إجابة عالمية. ما يهم هو الاختيار بشكل صريح وتثبيته، لأن الم annotators الذين يطبقون إجابات مختلفة عبر مجموعة بيانات ينتجون بيانات لا تعلم شيئًا.
- الكلمات المفردة المستعارة: تبديل أم لا؟
- الكلمات المستعارة المعروفة: تبديل أم لا؟
- المزج الصرفي: كيف يتم وضع العلامات عليه؟
- الأسماء الصحيحة: مستثناة من التبديل؟
أسئلة أخرى
ما هو التبديل بين اللغات في التعرف على الكلام؟
تغيير اللغة داخل جملة واحدة. إنه كلام متعدد اللغات طبيعي ويكسر الأنظمة التي تفترض لغة واحدة لكل جملة، عادة عن طريق إسقاط أو تشويه اللغة غير المتوقعة بصمت.
لماذا تفشل مجموعات الاختبار القياسية في اكتشاف فشل التبديل بين اللغات؟
لأنها تحتوي على تسجيلات بلغة واحدة. لا يمكن اكتشاف فشل يظهر فقط مع إدخال مختلط اللغة بواسطة مجموعة اختبار لا تحتوي على أي منها.
من يمكنه وسم الكلام المتبدل اللغة؟
فقط الم annotators الذين يجيدون اللغتين فعلياً، لأن الحالات الحدودية تتطلب حدساً أصلياً في كل منهما. عادة ما تكون هذه المجموعة من الم annotators، وليس الميزانية، هي القيد القيد على مثل هذه المشاريع.