JwumaDane preferencji RLHF, jak je określić, aby były wartościowe
· 2 min czytania · specification, quality
To tłumaczenie zostało wykonane maszynowo i nie zostało sprawdzone przez native speakera. W razie wątpliwości obowiązuje wersja angielska. Napisz nam, jeśli coś brzmi błędnie, a poprawimy. English
Użyteczne dane preferencji wymagają pisemnego uzasadnienia przy każdym osądzie, a nie tylko rankingu. Same rankingi mówią modelowi bardzo niewiele; to uzasadnienie niesie lekcję. Określ kryteria, zamroź je dla każdej partii, skalibruj adnotatorów względem nich przed produkcją i zapisuj rzeczywiste niezgodności zamiast je rozwiązywać większością głosów.
W skrócie
- Ranking bez pisemnego uzasadnienia niesie niewielki sygnał szkoleniowy.
- Adnotatorzy powinni być skalibrowani względem kryteriów przed pracą produkcyjną.
- Kryteria są zamrażane dla każdej partii, aby osądy były porównywalne.
- Rzeczywiste niezgodności są zapisywane i rozpatrywane, a nie uśredniane.
- Uzasadnienia, które jedynie powtarzają ranking, powinny być odrzucone w QA.
Planujesz podobny projekt?
Wolimy rozmawiać o problemie niż wyceniać sam wolumen.
Zobacz nasze możliwościDlaczego nalegać na pisemne uzasadnienie?
Ponieważ preferencja sama w sobie jest prawie pozbawiona informacji. Dziesięciu adnotatorów preferujących odpowiedź B mówi modelowi, że B było lepsze w jakiś nieokreślony sposób. Dziesięciu adnotatorów preferujących B, ponieważ odmówiło spekulacji na temat dawki leku, to lekcja, która się generalizuje.
To także umożliwia kontrolę jakości. Ranking nie może być audytowany; uzasadnienie można przeczytać, a uzasadnienie, które jedynie powtarza ranking innymi słowami, jest widocznie puste.
Na czym polega kalibracja?
Przeprowadzenie adnotatorów przez zestaw elementów z znanymi poprawnymi osądami według kryteriów, zanim dotkną danych produkcyjnych, i poprawienie błędnych odczytów, które się pojawią.
Pominięcie tego to fałszywa oszczędność, która ujawnia się dwa tygodnie później jako nieużyteczne wyniki zgodności. Błędne odczyty zawsze tam są; kalibracja decyduje, czy znajdziesz je przed, czy po zapłaceniu za partię.
Jak należy postępować z niezgodnościami?
Zapisane. W pracy nad alignmentem szczególnie, rzeczywisty podział wśród skalibrowanych adnotatorów to odkrycie dotyczące promptu, a nie błąd do wygładzenia.
Zapytaj swojego dostawcę, co robią z podziałami. Rozwiązywanie przez większość i raportowanie czystej zgodności jest powszechne i niszczy najcenniejsze wiersze w zbiorze danych.
Co QA powinno faktycznie odrzucić?
Uzasadnienia, które powtarzają ranking, uzasadnienia, które odwołują się do kryterium nieobecnego w kryteriach, oraz rankingi niezgodne z dołączonym do nich uzasadnieniem. To ostatnie jest bardziej powszechne, niż się wydaje, i jest niewidoczne dla jakiejkolwiek kontroli, która patrzy tylko na rankingi.
Warto określić te kryteria odrzucenia wyraźnie, zamiast zakładać, że dostawca je stosuje.
Inne pytania
Czym są dane preferencji RLHF?
Ludzkie osądy dotyczące tego, który z dwóch lub więcej wyników modelu jest lepszy, używane do szkolenia modelu w kierunku preferowanego zachowania. Użyteczne dane preferencji zawierają pisemne uzasadnienie dla każdego osądu.
Dlaczego pisemne uzasadnienie ma znaczenie w RLHF?
Ponieważ sam ranking niesie prawie żadnego sygnału. Powód, dla którego odpowiedź była preferowana, to to, co się generalizuje, i jest to również jedyna część osądu, która może być audytowana.
Czy adnotatorzy powinni być skalibrowani przed pracą produkcyjną RLHF?
Tak. Kalibracja względem zamrożonych kryteriów ujawnia błędne odczyty przed zapłaceniem za partię, a nie po, i jest głównym czynnikiem decydującym o tym, czy wyniki zgodności będą użyteczne.