JwumaDati di preferenza RLHF, come specificarli affinché siano utili
· 3 min di lettura · specification, quality
Questa traduzione è stata prodotta automaticamente e non è stata verificata da un madrelingua. In caso di dubbio, fa fede la versione inglese. Segnalaci eventuali errori e li correggeremo. English
I dati di preferenza utili richiedono un razionale scritto con ogni giudizio, non solo un ranking. I ranking da soli dicono molto poco a un modello; è la ragione che porta la lezione. Specificare la rubrica, congelarla per lotto, calibrare gli annotatori rispetto ad essa prima della produzione e registrare il disaccordo genuino piuttosto che risolverlo per maggioranza.
In breve
- Un ranking senza un razionale scritto porta poco segnale di addestramento.
- Gli annotatori dovrebbero essere calibrati rispetto alla rubrica prima del lavoro di produzione.
- Le rubriche sono congelate per lotto affinché i giudizi siano comparabili.
- Il disaccordo genuino è registrato e giudicato, non mediato.
- I razionali che semplicemente ripetono il ranking dovrebbero essere respinti nel QA.
Stai definendo un progetto simile?
Preferiamo parlare del problema piuttosto che quotare un volume.
Vedi i serviziPerché insistere su un razionale scritto?
Perché una preferenza da sola è quasi priva di informazioni. Dieci annotatori che preferiscono la risposta B dicono a un modello che B era migliore in un modo non specificato. Dieci annotatori che preferiscono B perché ha rifiutato di speculare su una dose di medicinale è una lezione che si generalizza.
Rende anche la qualità verificabile. Un ranking non può essere verificato; un razionale può essere letto, e un razionale che semplicemente ripete il ranking con altre parole è visibilmente vuoto.
Cosa comporta la calibrazione?
Far passare gli annotatori attraverso un insieme di elementi con giudizi corretti noti secondo la rubrica, prima che tocchino i dati di produzione, e correggere le interpretazioni errate che emergono.
Saltare questo passaggio è un'economia falsa che si manifesta due settimane dopo come punteggi di accordo inutilizzabili. Le interpretazioni errate sono sempre presenti; la calibrazione determina se le trovi prima o dopo aver pagato per il lotto.
Come dovrebbe essere gestito il disaccordo?
Registrato. Nel lavoro di allineamento in particolare, una vera divisione tra annotatori calibrati è una scoperta sul prompt, non un errore da appianare.
Chiedi al tuo fornitore cosa fanno con le divisioni. Risolvere per maggioranza e riportare un accordo pulito è comune e distrugge le righe più preziose nel dataset.
Cosa dovrebbe effettivamente respingere il QA?
Razionali che ripetono il ranking, razionali che citano un criterio non presente nella rubrica e ranking incoerenti con il razionale allegato. Quest'ultimo è più comune di quanto sembri ed è invisibile a qualsiasi controllo che guardi solo i ranking.
Vale la pena specificare questi criteri di rifiuto esplicitamente piuttosto che presumere che un fornitore li applichi.
Altre domande
Cosa sono i dati di preferenza RLHF?
Giudizi umani su quale di due o più output di modelli è migliore, usati per addestrare un modello verso un comportamento preferito. I dati di preferenza utili includono un razionale scritto per ogni giudizio.
Perché il razionale scritto è importante nel RLHF?
Perché un ranking nudo porta quasi nessun segnale. La ragione per cui una risposta è stata preferita è ciò che si generalizza, ed è anche l'unica parte del giudizio che può essere verificata.
Gli annotatori dovrebbero essere calibrati prima del lavoro di produzione RLHF?
Sì. La calibrazione rispetto alla rubrica congelata fa emergere le interpretazioni errate prima di pagare per un lotto piuttosto che dopo, ed è il principale determinante del fatto che i punteggi di accordo finiscano per essere utilizzabili.