JwumaInter-Annotator-Übereinstimmung: Welche Zahl ist tatsächlich gut genug?
· 2 Min. Lesezeit · quality, specification
Diese Übersetzung wurde maschinell erstellt und nicht von einem Muttersprachler geprüft. Im Zweifelsfall gilt die englische Fassung. Sagen Sie uns Bescheid, wenn etwas falsch klingt, und wir korrigieren es. English
Es gibt keinen universellen Schwellenwert. Hohe Übereinstimmung bei einer einfachen Aufgabe bedeutet nichts, und niedrige Übereinstimmung bei einer wirklich umstrittenen Aufgabe kann eher das Ergebnis als ein Mangel sein. Fordern Sie eine nach Segment und Annotator aufgeschlüsselte Übereinstimmung anstelle einer aggregierten Zahl an, da die Aggregation zuverlässig den Teil verbirgt, der fehlerhaft ist.
Kurz gefasst
- Ein einzelner aggregierter Übereinstimmungswert verbirgt fehlerhafte Segmente.
- Hohe Übereinstimmung bei einer trivialen Aufgabe liefert keine Informationen.
- Bei subjektiven Aufgaben ist systematische Uneinigkeit oft das Signal.
- Die Übereinstimmung sollte pro Segment und pro Annotator gemeldet werden.
- Korrekturmaßnahmen für Zufall sind wichtig, wenn die Klassenverteilung unausgewogen ist.
Planen Sie etwas Ähnliches?
Wir sprechen lieber über das Problem als über eine Mengenangabe.
Leistungen ansehenWarum reicht eine Zahl nicht aus?
Weil Datensätze nicht einheitlich sind. Eine Übereinstimmung von 0,85 insgesamt kann problemlos ein Segment mit 0,4 enthalten, das zufällig das Segment ist, das Sie tatsächlich interessiert, und nichts in der Hauptzahl sagt Ihnen, dass es existiert.
Dies ist die häufigste Art und Weise, wie ein Datensatz die Akzeptanz besteht und dann im Training scheitert. Fordern Sie die Aufschlüsselung an, bevor Sie akzeptieren, nicht danach.
Wann ist Uneinigkeit tatsächlich die Antwort?
Bei wirklich subjektiven Beurteilungen. Wenn die Hälfte der qualifizierten Annotatoren eine Antwort als akzeptabel ansieht und die andere Hälfte nicht, zerstört das Erzwingen eines einzigen Labels das informativste Element im Batch.
Insbesondere bei Alignment- und Sicherheitsarbeiten zeichnet ein gut geführter Anbieter die Aufteilung auf und leitet sie zur Entscheidung weiter, wobei die Spur erhalten bleibt, anstatt sie durch Mehrheitsentscheidung zu lösen und eine saubere Übereinstimmung zu melden.
Was sollten Sie von einem Anbieter verlangen?
Übereinstimmung pro Segment, Übereinstimmung pro Annotator und eine zufallskorrigierte Maßnahme, wenn die Klassenverteilung unausgewogen ist. Der rohe prozentuale Übereinstimmungswert bei einer Aufgabe, bei der neunzig Prozent der Elemente ein Label teilen, sagt fast nichts aus.
Fragen Sie auch, wie die Prüfer selbst gemessen werden. Ein Anbieter, der Annotatoren, aber nicht Prüfer misst, hat einen ungeprüften einzigen Schwachpunkt über jedem Label im Datensatz.
- Übereinstimmung pro Datensegment
- Übereinstimmung pro Annotator
- Eine zufallskorrigierte Maßnahme bei unausgewogenen Verteilungen
- Wie die Prüfer selbst gemessen werden
- Wie echte Aufteilungen aufgezeichnet und entschieden werden
Weitere Fragen
Welchen Inter-Annotator-Übereinstimmungswert sollte ich verlangen?
Es gibt keine universelle Zahl. Wichtig ist die nach Segment und Annotator aufgeschlüsselte Übereinstimmung und ob die Aufgabe eine ist, bei der Uneinigkeit ein legitimes Signal und kein Fehler ist.
Ist hohe Übereinstimmung immer gut?
Nein. Hohe Übereinstimmung bei einer einfachen Aufgabe liefert keine Informationen und kann auch darauf hinweisen, dass Annotatoren sich auf ein gemeinsames Missverständnis der Richtlinien einigen, anstatt wirklich übereinzustimmen.
Sollte Uneinigkeit immer gelöst werden?
Nicht bei subjektiven Aufgaben. Systematische Uneinigkeit zwischen qualifizierten Annotatoren ist oft die nützlichste Information in einem Batch, und sie in ein einziges Label zu glätten, verwirft sie.