JwumaDados de preferência RLHF, como especificá-los para que valham a pena
· 3 min de leitura · specification, quality
Esta tradução foi produzida por máquina e não foi verificada por um falante nativo. Em caso de dúvida, a versão em inglês é a original. Diga-nos se algo estiver errado e corrigiremos. English
Dados de preferência úteis requerem uma justificativa escrita com cada julgamento, não apenas um ranking. Rankings sozinhos dizem muito pouco a um modelo; a razão é o que carrega a lição. Especifique a rubrica, congele-a por lote, calibre os anotadores com ela antes da produção e registre discordâncias genuínas em vez de resolvê-las por maioria.
Em resumo
- Um ranking sem uma justificativa escrita carrega pouco sinal de treinamento.
- Os anotadores devem ser calibrados com a rubrica antes do trabalho de produção.
- As rubricas são congeladas por lote para que os julgamentos sejam comparáveis.
- Discordâncias genuínas são registradas e julgadas, não eliminadas pela média.
- Justificativas que apenas reiteram o ranking devem ser rejeitadas na QA.
Está a definir algo assim?
Preferimos falar do problema em vez de orçamentar por volume.
Ver capacidadesPor que insistir em uma justificativa escrita?
Porque uma preferência por si só é quase desprovida de informação. Dez anotadores preferindo a resposta B dizem a um modelo que B foi melhor de alguma forma não especificada. Dez anotadores preferindo B porque se recusou a especular sobre uma dose de medicação é uma lição que se generaliza.
Também torna a qualidade verificável. Um ranking não pode ser auditado; uma justificativa pode ser lida, e uma justificativa que apenas reitera o ranking com outras palavras é visivelmente vazia.
O que envolve a calibração?
Passar os anotadores por um conjunto de itens com julgamentos corretos conhecidos sob a rubrica, antes de tocarem nos dados de produção, e corrigir as interpretações erradas que surgirem.
Pular isso é uma falsa economia que aparece duas semanas depois como pontuações de concordância inutilizáveis. As interpretações erradas estão sempre lá; a calibração determina se você as encontra antes ou depois de pagar pelo lote.
Como a discordância deve ser tratada?
Registrada. No trabalho de alinhamento especialmente, uma divisão genuína entre anotadores calibrados é uma descoberta sobre o prompt, não um erro a ser suavizado.
Pergunte ao seu fornecedor o que eles fazem com divisões. Resolver por maioria e relatar uma concordância limpa é comum e destrói as linhas mais valiosas do conjunto de dados.
O que a QA deve realmente rejeitar?
Justificativas que reiteram o ranking, justificativas que citam um critério não presente na rubrica e rankings inconsistentes com a justificativa a eles anexada. Este último é mais comum do que parece e é invisível a qualquer verificação que apenas olhe para rankings.
Vale a pena especificar esses critérios de rejeição explicitamente em vez de assumir que um fornecedor os aplica.
Outras perguntas
O que são dados de preferência RLHF?
Julgamentos humanos sobre qual de duas ou mais saídas de modelo é melhor, usados para treinar um modelo em direção a um comportamento preferido. Dados de preferência úteis incluem uma justificativa escrita para cada julgamento.
Por que a justificativa escrita é importante no RLHF?
Porque um ranking simples carrega quase nenhum sinal. A razão pela qual uma resposta foi preferida é o que se generaliza, e é também a única parte do julgamento que pode ser auditada.
Os anotadores devem ser calibrados antes do trabalho de produção RLHF?
Sim. A calibração com a rubrica congelada revela interpretações erradas antes de você pagar por um lote, em vez de depois, e é o principal determinante de se as pontuações de concordância acabam sendo utilizáveis.