التقييم متعدد اللغات، لماذا يضلل الاختبار باللغة الإنجليزية فقط

ما الذي يختلف فعليًا بين اللغات؟

أكثر من الطلاقة. سلوك الرفض، التحوط، الاستعداد للتكهن وحواجز الأمان كلها تُكتسب بشكل كبير من البيانات المهيمنة باللغة الإنجليزية، وانتقالها إلى اللغات الأخرى غير متساوٍ وغير مختبر.

النتيجة العملية هي أن النموذج الذي يُعتمد عليه كآمن في تقييم باللغة الإنجليزية قد لا يكون آمنًا عند نشره لمتحدثي لغة أخرى، ولا شيء في النتيجة الإنجليزية يشير إلى ذلك.

لماذا لا تعمل ترجمة مجموعة الاختبار الخاصة بك؟

لأن المطالبات المترجمة ليست الطريقة التي يكتب بها المتحدثون الأصليون. فهي تحمل تراكيب وصياغة إنجليزية، لذا فهي تختبر النموذج بطريقة لا يفعلها المستخدمون الحقيقيون، وتفوت الصياغات التي تسبب الفشل فعليًا.

كما أنها لا تستطيع اختبار الملاءمة الثقافية على الإطلاق، لأن المحتوى الثقافي للأصل هو إنجليزي.

ما الذي يتطلبه التقييم الجيد متعدد اللغات؟

متحدثون أصليون يكتبون المطالبات بشكل أصلي، ومتحدثون أصليون يحكمون على المخرجات. كلا النصفين مهم. المطالبة الأصلية التي يُحكم عليها بترجمة أفضل قليلاً من عدم التقييم.

يجب أن يغطي الحكم الملاءمة الثقافية بشكل منفصل عن الصحة اللغوية. يمكن أن يكون الجواب صحيحًا نحويًا وغير مناسب محليًا، ودمج الاثنين في درجة واحدة يخفي ذلك.

• مطالبات مكتوبة بشكل أصلي، وليست مترجمة
• الحكم من قبل متحدثين أصليين للغة
• تقييم الملاءمة الثقافية بشكل منفصل
• اختبار السلوك الأمني لكل لغة، وليس افتراضه

أين يجب أن تنظر أولاً؟

اللغة ذات الموارد الأقل في نطاق نشر النموذج الخاص بك، لأنها المكان الذي تكون فيه الفجوة السلوكية الأكبر وحيث يوجد أقل تقييم مسبق.

كما أنه المكان الذي يكون فيه العثور على مقيمين مؤهلين أصعب، ولهذا السبب يتم تأجيل ذلك عادةً وتستمر الفجوة.

هل تعمل حواجز الأمان في الذكاء الاصطناعي بنفس الطريقة في كل لغة؟

غالبًا لا. حواجز الأمان المكتسبة بشكل كبير من البيانات المهيمنة باللغة الإنجليزية تنتقل بشكل غير متساوٍ، وقد يفشل حاجز الأمان الذي يعمل باللغة الإنجليزية في لغة ذات موارد أقل.

هل يمكنني تقييم النموذج عن طريق ترجمة مجموعة الاختبار الإنجليزية الخاصة بي؟

ليس بشكل موثوق. المطالبات المترجمة تحمل تراكيب وصياغة إنجليزية، لذا فهي تختبر النموذج بشكل مختلف عن الاستخدام الأصلي الحقيقي وتفوت الصياغات التي تسبب الفشل فعليًا.

من يجب أن يحكم على مخرجات النموذج متعدد اللغات؟

المتحدثون الأصليون للغة الهدف، مع الحكم على الملاءمة الثقافية بشكل منفصل عن الصحة اللغوية حتى لا يتم اعتبار الجواب الطليق ولكنه غير مناسب محليًا كصحيح.