JwumaDatos de preferencia de RLHF, cómo especificarlos para que valgan la pena
· 3 min de lectura · specification, quality
Esta traducción fue generada por una máquina y no ha sido revisada por un hablante nativo. Ante cualquier duda, la versión en inglés es la original. Avísanos si algo está mal y lo corregiremos. English
Los datos de preferencia útiles requieren una justificación escrita con cada juicio, no solo un ranking. Los rankings por sí solos dicen muy poco a un modelo; la razón es lo que lleva la lección. Especifique la rúbrica, congélela por lote, calibre a los anotadores contra ella antes de la producción y registre el desacuerdo genuino en lugar de resolverlo por mayoría.
En resumen
- Un ranking sin una justificación escrita lleva poca señal de entrenamiento.
- Los anotadores deben ser calibrados contra la rúbrica antes del trabajo de producción.
- Las rúbricas se congelan por lote para que los juicios sean comparables.
- El desacuerdo genuino se registra y se adjudica, no se promedia.
- Las justificaciones que simplemente repiten el ranking deben ser rechazadas en QA.
¿Estás definiendo algo así?
Preferimos hablar del problema antes que cotizar por volumen.
Ver capacidades¿Por qué insistir en una justificación escrita?
Porque una preferencia por sí sola tiene casi nula información. Que diez anotadores prefieran la respuesta B le dice a un modelo que B fue mejor de alguna manera no especificada. Que diez anotadores prefieran B porque se negó a especular sobre una dosis de medicación es una lección que se generaliza.
También hace que la calidad sea verificable. Un ranking no puede ser auditado; una justificación puede ser leída, y una justificación que solo repite el ranking en otras palabras es visiblemente vacía.
¿En qué consiste la calibración?
Pasar a los anotadores por un conjunto de ítems con juicios correctos conocidos bajo la rúbrica, antes de que toquen los datos de producción, y corregir las malas interpretaciones que surjan.
Omitir esto es una falsa economía que se manifiesta dos semanas después como puntajes de acuerdo inutilizables. Las malas interpretaciones siempre están ahí; la calibración determina si las encuentras antes o después de pagar por el lote.
¿Cómo se debe manejar el desacuerdo?
Registrado. En el trabajo de alineación particularmente, una división genuina entre anotadores calibrados es un hallazgo sobre el aviso, no un error que deba suavizarse.
Pregunte a su proveedor qué hacen con las divisiones. Resolver por mayoría y reportar un acuerdo limpio es común y destruye las filas más valiosas del conjunto de datos.
¿Qué debería rechazar realmente QA?
Justificaciones que repiten el ranking, justificaciones que citan un criterio no presente en la rúbrica, y rankings inconsistentes con la justificación adjunta a ellos. Este último es más común de lo que parece y es invisible para cualquier verificación que solo mire los rankings.
Vale la pena especificar estos criterios de rechazo explícitamente en lugar de asumir que un proveedor los aplica.
También preguntan
¿Qué son los datos de preferencia de RLHF?
Juicios humanos sobre cuál de dos o más salidas de modelo es mejor, utilizados para entrenar un modelo hacia un comportamiento preferido. Los datos de preferencia útiles incluyen una justificación escrita para cada juicio.
¿Por qué importa la justificación escrita en RLHF?
Porque un ranking simple lleva casi ninguna señal. La razón por la que se prefirió una respuesta es lo que se generaliza, y también es la única parte del juicio que puede ser auditada.
¿Deben los anotadores ser calibrados antes del trabajo de producción de RLHF?
Sí. La calibración contra la rúbrica congelada saca a la luz las malas interpretaciones antes de que pague por un lote en lugar de después, y es el principal determinante de si los puntajes de acuerdo terminan siendo utilizables.