JwumaInter-annotator agreement, what number is actually good enough
· 2 min czytania · quality, specification
To tłumaczenie zostało wykonane maszynowo i nie zostało sprawdzone przez native speakera. W razie wątpliwości obowiązuje wersja angielska. Napisz nam, jeśli coś brzmi błędnie, a poprawimy. English
Nie ma uniwersalnego progu. Wysoka zgodność w łatwym zadaniu nic nie znaczy, a niska zgodność w rzeczywiście spornym zadaniu może być odkryciem, a nie defektem. Poproś o zgodność rozbitą na części i według anotatora, a nie jedną zbiorczą liczbę, ponieważ zbiorcza liczba niezawodnie ukrywa część, która jest wadliwa.
W skrócie
- Pojedynczy zbiorczy wynik zgodności ukrywa niepowodzenia na poziomie części.
- Wysoka zgodność w trywialnym zadaniu nie niesie informacji.
- W zadaniach subiektywnych systematyczna niezgodność jest często sygnałem.
- Zgodność powinna być raportowana na poziomie części i anotatora.
- Miary skorygowane o przypadek mają znaczenie, gdy rozkład klas jest nierównomierny.
Planujesz podobny projekt?
Wolimy rozmawiać o problemie niż wyceniać sam wolumen.
Zobacz nasze możliwościDlaczego jedna liczba to za mało?
Ponieważ zbiory danych nie są jednolite. Zgodność na poziomie 0,85 ogólnie może wygodnie zawierać część na poziomie 0,4, która akurat jest tą, na której Ci zależy, a nic w głównej liczbie nie mówi, że tam jest.
To jest najczęstszy sposób, w jaki zbiór danych przechodzi akceptację, a potem zawodzi podczas treningu. Poproś o szczegółowy podział przed akceptacją, a nie po.
Kiedy niezgodność jest właściwie odpowiedzią?
W rzeczywiście subiektywnych ocenach. Jeśli połowa wykwalifikowanych anotatorów uznaje odpowiedź za akceptowalną, a połowa nie, wymuszenie jednej etykiety niszczy najbardziej informacyjną rzecz w partii.
Szczególnie w pracy nad zgodnością i bezpieczeństwem dobrze zarządzany dostawca rejestruje podział i kieruje go do rozstrzygnięcia z zachowaną ścieżką, zamiast rozwiązywać go większością i raportować czystą zgodność.
O co powinieneś poprosić dostawcę, aby raportował?
Zgodność na poziomie części, zgodność na poziomie anotatora i miarę skorygowaną o przypadek, gdy rozkład klas jest nierównomierny. Surowy procent zgodności w zadaniu, w którym dziewięćdziesiąt procent pozycji ma jedną etykietę, mówi prawie nic.
Zapytaj również, jak sami recenzenci są mierzeni. Dostawca, który mierzy anotatorów, ale nie recenzentów, ma nieprzebadany pojedynczy punkt awarii nad każdą etykietą w zbiorze danych.
- Zgodność na poziomie części danych
- Zgodność na poziomie anotatora
- Miara skorygowana o przypadek w nierównomiernych rozkładach
- Jak sami recenzenci są mierzeni
- Jak prawdziwe podziały są rejestrowane i rozstrzygane
Inne pytania
Jaki wynik zgodności między anotatorami powinienem wymagać?
Nie ma uniwersalnej liczby. Ważna jest zgodność rozbita na części i według anotatora oraz to, czy zadanie jest takie, gdzie niezgodność jest uzasadnionym sygnałem, a nie błędem.
Czy wysoka zgodność zawsze jest dobra?
Nie. Wysoka zgodność w łatwym zadaniu nie niesie informacji i może również wskazywać na to, że anotatorzy zbliżają się do wspólnego błędnego odczytania reguły, a nie rzeczywiście się zgadzają.
Czy niezgodność zawsze powinna być rozstrzygana?
Nie w zadaniach subiektywnych. Systematyczna niezgodność między wykwalifikowanymi anotatorami jest często najbardziej użyteczną informacją w partii, a spłaszczenie jej do jednej etykiety ją odrzuca.