JwumaInter-annotator overeenkomst, welk getal is eigenlijk goed genoeg
· 2 min leestijd · quality, specification
Deze vertaling is machinaal gemaakt en niet gecontroleerd door een moedertaalspreker. Bij twijfel geldt de Engelse versie. Laat het ons weten als iets niet klopt, dan corrigeren wij het. English
Er is geen universele drempel. Hoge overeenkomst bij een gemakkelijke taak betekent niets, en lage overeenkomst bij een echt betwiste taak kan de bevinding zijn in plaats van een defect. Vraag om overeenkomst uitgesplitst per segment en per annotator in plaats van één totaalgetal, omdat het totaalgetal betrouwbaar het deel verbergt dat niet klopt.
Kort samengevat
- Een enkel totaalovereenkomstscore verbergt mislukkingen op segmentniveau.
- Hoge overeenkomst bij een triviale taak bevat geen informatie.
- Bij subjectieve taken is systematische onenigheid vaak het signaal.
- Overeenkomst moet per segment en per annotator worden gerapporteerd.
- Kans-gecorrigeerde maten zijn belangrijk wanneer de klassenverdeling scheef is.
Bent u zoiets aan het uitwerken?
Wij bespreken liever het probleem dan een offerte op volume.
Bekijk onze dienstenWaarom is één getal niet genoeg?
Omdat datasets niet uniform zijn. Een overeenkomst van 0,85 in het algemeen kan comfortabel een segment van 0,4 bevatten dat toevallig het segment is waar je echt om geeft, en niets in het hoofdgetal vertelt je dat het er is.
Dit is de meest voorkomende manier waarop een dataset acceptatie doorstaat en vervolgens faalt in training. Vraag om de uitsplitsing voordat je accepteert, niet erna.
Wanneer is onenigheid eigenlijk het antwoord?
Bij echt subjectieve oordelen. Als de helft van de gekwalificeerde annotators een reactie acceptabel vindt en de andere helft niet, vernietigt het forceren van een enkel label het meest informatieve in de batch.
Voor afstemmings- en veiligheidswerk in het bijzonder registreert een goed georganiseerde leverancier de splitsing en leidt deze naar beoordeling met het spoor behouden, in plaats van het op te lossen door meerderheid en een schone overeenkomst te rapporteren.
Wat moet je een leverancier vragen te rapporteren?
Overeenkomst per segment, overeenkomst per annotator, en een kans-gecorrigeerde maat waar de klassenverdeling scheef is. Ruwe procentuele overeenkomst bij een taak waar negentig procent van de items één label deelt, vertelt je bijna niets.
Vraag ook hoe beoordelaars zelf worden gemeten. Een leverancier die annotators meet maar niet beoordelaars, heeft een niet-onderzocht enkel storingspunt boven elk label in de dataset.
- Overeenkomst per datasegment
- Overeenkomst per annotator
- Een kans-gecorrigeerde maat bij scheve verdelingen
- Hoe beoordelaars zelf worden gemeten
- Hoe echte splitsingen worden geregistreerd en beoordeeld
Andere vragen
Welke inter-annotator overeenkomstscore moet ik eisen?
Er is geen universeel getal. Wat belangrijk is, is overeenkomst uitgesplitst per segment en per annotator, en of de taak er een is waar onenigheid legitiem signaal is in plaats van een fout.
Is hoge overeenkomst altijd goed?
Nee. Hoge overeenkomst bij een gemakkelijke taak bevat geen informatie, en kan ook aangeven dat annotators convergeren op een gedeeld misverstand van de richtlijn in plaats van echt overeenkomen.
Moet onenigheid altijd worden opgelost?
Niet bij subjectieve taken. Systematische onenigheid tussen gekwalificeerde annotators is vaak de meest bruikbare informatie in een batch, en het plat slaan tot één label gooit het weg.