Jwumaبيانات تفضيل RLHF، كيفية تحديدها لتكون ذات قيمة
· 2 دقيقة قراءة · specification, quality
أُنتجت هذه الترجمة آلياً ولم يراجعها متحدث أصلي. عند الالتباس، النسخة الإنجليزية هي الأصل. أخبرنا إذا كان هناك خطأ وسنصححه. English
تتطلب بيانات التفضيل المفيدة تبريرًا مكتوبًا مع كل حكم، وليس مجرد ترتيب. الترتيبات وحدها تخبر النموذج بالقليل جدًا؛ السبب هو ما يحمل الدرس. حدد المعيار، جمده لكل دفعة، عاير المعلقين ضده قبل الإنتاج، وسجل الخلافات الحقيقية بدلاً من حلها بالأغلبية.
باختصار
- الترتيب بدون تبرير مكتوب يحمل إشارة تدريب قليلة.
- يجب معايرة المعلقين ضد المعيار قبل العمل الإنتاجي.
- المعايير مجمدة لكل دفعة لتكون الأحكام قابلة للمقارنة.
- يتم تسجيل الخلاف الحقيقي وتقييمه، وليس التخلص منه بالتوسط.
- يجب رفض التبريرات التي تعيد صياغة الترتيب في QA.
لماذا الإصرار على التبرير المكتوب؟
لأن التفضيل بمفرده يكاد يكون خاليًا من المعلومات. تفضيل عشرة معلقين للاستجابة ب يخبر النموذج أن ب كان أفضل بطريقة غير محددة. تفضيل عشرة معلقين لب لأنهم رفضوا التكهن بجرعة دواء هو درس يمكن تعميمه.
كما أنه يجعل الجودة قابلة للتحقق. لا يمكن تدقيق الترتيب؛ يمكن قراءة التبرير، والتبرير الذي يعيد صياغة الترتيب بكلمات أخرى يكون فارغًا بشكل واضح.
ماذا تتضمن المعايرة؟
تمرير المعلقين عبر مجموعة من العناصر مع الأحكام الصحيحة المعروفة تحت المعيار، قبل أن يتعاملوا مع بيانات الإنتاج، وتصحيح القراءات الخاطئة التي تظهر.
تخطي هذا هو اقتصاد زائف يظهر بعد أسبوعين كنقاط اتفاق غير قابلة للاستخدام. القراءات الخاطئة موجودة دائمًا؛ المعايرة تحدد ما إذا كنت ستجدها قبل أو بعد دفع ثمن الدفعة.
كيف يجب التعامل مع الخلاف؟
يتم تسجيله. في العمل على التوافق بشكل خاص، الانقسام الحقيقي بين المعلقين المعايرين هو اكتشاف حول الموجه، وليس خطأ يجب تسويته.
اسأل المورد الخاص بك عما يفعلونه مع الانقسامات. الحل بالأغلبية وتقرير الاتفاق النظيف شائع ويدمر أكثر الصفوف قيمة في مجموعة البيانات.
ما الذي يجب أن ترفضه QA فعليًا؟
التبريرات التي تعيد صياغة الترتيب، التبريرات التي تستشهد بمعيار غير موجود في المعيار، والترتيبات غير المتسقة مع التبرير المرفق بها. هذا الأخير أكثر شيوعًا مما يبدو وهو غير مرئي لأي تحقق ينظر فقط إلى الترتيبات.
من المفيد تحديد معايير الرفض هذه بشكل صريح بدلاً من افتراض أن المورد يطبقها.
أسئلة أخرى
ما هي بيانات تفضيل RLHF؟
الأحكام البشرية حول أي من مخرجات النموذج أفضل، تُستخدم لتدريب النموذج نحو السلوك المفضل. تتضمن بيانات التفضيل المفيدة تبريرًا مكتوبًا لكل حكم.
لماذا يهم التبرير المكتوب في RLHF؟
لأن الترتيب المجرد يحمل إشارة قليلة جدًا. السبب في تفضيل الاستجابة هو ما يمكن تعميمه، وهو أيضًا الجزء الوحيد من الحكم الذي يمكن تدقيقه.
هل يجب معايرة المعلقين قبل العمل الإنتاجي في RLHF؟
نعم. المعايرة ضد المعيار المجمد تكشف عن القراءات الخاطئة قبل أن تدفع ثمن الدفعة بدلاً من بعدها، وهي العامل الرئيسي في تحديد ما إذا كانت نقاط الاتفاق ستصبح قابلة للاستخدام.