JwumaDonnées de préférence RLHF, comment les spécifier pour qu'elles soient utiles
· 3 min de lecture · specification, quality
Cette traduction a été produite par une machine et n'a pas été vérifiée par un locuteur natif. En cas de doute, la version anglaise fait foi. Signalez-nous toute erreur et nous la corrigerons. English
Des données de préférence utiles nécessitent une justification écrite avec chaque jugement, pas seulement un classement. Les classements seuls n'apportent que peu d'informations à un modèle ; c'est la raison qui porte la leçon. Spécifiez la rubrique, figez-la par lot, étalonnez les annotateurs par rapport à celle-ci avant la production, et enregistrez les désaccords authentiques plutôt que de les résoudre par majorité.
En bref
- Un classement sans justification écrite apporte peu de signal d'apprentissage.
- Les annotateurs doivent être étalonnés par rapport à la rubrique avant le travail de production.
- Les rubriques sont figées par lot pour que les jugements soient comparables.
- Les désaccords authentiques sont enregistrés et jugés, non moyennés.
- Les justifications qui ne font que reformuler le classement doivent être rejetées lors du QA.
Un projet de ce type à cadrer ?
Nous préférons parler du problème plutôt que chiffrer un volume.
Voir nos prestationsPourquoi insister sur une justification écrite ?
Parce qu'une préférence seule est presque dépourvue d'information. Dix annotateurs préférant la réponse B indiquent à un modèle que B était meilleure d'une manière non spécifiée. Dix annotateurs préférant B parce qu'elle a refusé de spéculer sur une dose de médicament est une leçon qui se généralise.
Cela permet également de vérifier la qualité. Un classement ne peut pas être audité ; une justification peut être lue, et une justification qui ne fait que reformuler le classement est visiblement vide.
En quoi consiste l'étalonnage ?
Faire passer aux annotateurs un ensemble d'éléments avec des jugements corrects connus selon la rubrique, avant qu'ils ne touchent aux données de production, et corriger les erreurs de lecture qui apparaissent.
Ignorer cela est une fausse économie qui se manifeste deux semaines plus tard par des scores d'accord inutilisables. Les erreurs de lecture sont toujours présentes ; l'étalonnage détermine si vous les trouvez avant ou après avoir payé pour le lot.
Comment gérer les désaccords ?
Enregistrés. Dans le travail d'alignement en particulier, une véritable division parmi les annotateurs étalonnés est une découverte sur l'invite, pas une erreur à lisser.
Demandez à votre fournisseur ce qu'il fait des divisions. Résoudre par majorité et rapporter un accord net est courant et détruit les lignes les plus précieuses du jeu de données.
Que doit réellement rejeter le QA ?
Les justifications qui reformulent le classement, les justifications qui citent un critère non présent dans la rubrique, et les classements incohérents avec la justification qui leur est attachée. Ce dernier cas est plus courant qu'il n'y paraît et est invisible à toute vérification qui ne regarde que les classements.
Il vaut la peine de spécifier ces critères de rejet explicitement plutôt que de supposer qu'un fournisseur les applique.
Autres questions
Qu'est-ce que les données de préférence RLHF ?
Jugements humains sur lequel des deux ou plusieurs résultats de modèle est meilleur, utilisés pour entraîner un modèle vers un comportement préféré. Les données de préférence utiles incluent une justification écrite pour chaque jugement.
Pourquoi la justification écrite est-elle importante dans RLHF ?
Parce qu'un classement seul ne porte presque aucun signal. La raison pour laquelle une réponse a été préférée est ce qui se généralise, et c'est aussi la seule partie du jugement qui peut être auditée.
Les annotateurs doivent-ils être étalonnés avant le travail de production RLHF ?
Oui. L'étalonnage par rapport à la rubrique figée permet de détecter les erreurs de lecture avant de payer pour un lot plutôt qu'après, et c'est le principal déterminant de l'utilité des scores d'accord.