JwumaWie man ein Annotationsrubrik erstellt, das der Realität standhält
· 3 Min. Lesezeit · specification, quality
Diese Übersetzung wurde maschinell erstellt und nicht von einem Muttersprachler geprüft. Im Zweifelsfall gilt die englische Fassung. Sagen Sie uns Bescheid, wenn etwas falsch klingt, und wir korrigieren es. English
Ein gutes Rubrik widmet den Großteil seiner Länge Randfällen statt Definitionen, da Annotatoren selten über klare Fälle uneinig sind. Frieren Sie es ein, wenn eine Charge beginnt, damit der Standard nicht während des Projekts abweichen kann, und behandeln Sie jede Mehrdeutigkeit, die ein Annotator meldet, als Rubrikfehler und nicht als Fehler des Annotators.
Kurz gefasst
- Uneinigkeit unter Annotatoren konzentriert sich fast ausschließlich auf Randfälle.
- Eine Rubrik sollte eingefroren werden, wenn eine Charge beginnt, und danach versioniert werden.
- Jedes Label sollte auf die Rubrikversion zurückführbar sein, die es hervorgebracht hat.
- Gemeldete Mehrdeutigkeit ist ein Rubrikfehler, kein Fehler des Annotators.
- Eine Rubrik, die mitten in einer Charge geändert wird, macht den Vergleich innerhalb dieser Charge ungültig.
Planen Sie etwas Ähnliches?
Wir sprechen lieber über das Problem als über eine Mengenangabe.
Leistungen ansehenWarum scheitern Rubriken?
Fast nie, weil die Definitionen falsch sind. Sie scheitern, weil die Definitionen in Ordnung sind und die Randfälle fehlen, sodass zwanzig Annotatoren unabhängig voneinander zwanzig verschiedene Antworten auf die gleiche unbeantwortete Frage erfinden.
Das häufigste Symptom sind Übereinstimmungswerte, die insgesamt akzeptabel aussehen, während ein bestimmter Teil der Daten stillschweigend wertlos ist. Die aggregierte Übereinstimmung verbirgt dies gut.
Wie viel der Rubrik sollte Randfälle umfassen?
Der Großteil davon. Wenn Ihre Rubrik hauptsächlich aus Definitionen mit einem kurzen Abschnitt von Beispielen am Ende besteht, ist es eher ein Glossar als eine Rubrik.
Der produktive Weg, eine zu schreiben, besteht darin, eine kleine Pilotcharge mit einer unzureichend spezifizierten Rubrik durchzuführen, jeden Fall zu sammeln, den ein Annotator als mehrdeutig meldet, und jeden in eine explizite Regel zu verwandeln. Der Zweck des Piloten ist es, die Fragen zu finden, nicht Daten zu produzieren.
Warum die Rubrik einfrieren?
Weil, wenn der Standard mitten in einer Charge verschoben wird, korrekt unter der alten Definition abgeschlossene Arbeit rückwirkend falsch wird, und Sie aus dem Datensatz nicht erkennen können, welche Elemente unter welcher Version beurteilt wurden.
Einfrieren bedeutet, dass die Version, die in Kraft ist, wenn eine Charge beginnt, diese Charge regelt. Verbesserungen gelten für die nächste. Jedes Label trägt dann die Version, die es hervorgebracht hat, was einen Datensatz ein Jahr später prüfbar macht, wenn jemand fragt, warum zwei ähnliche Elemente unterschiedlich gekennzeichnet sind.
Wie sollte gemeldete Mehrdeutigkeit behandelt werden?
Als ein Fehlerbericht über Ihre Rubrik, was es auch ist. Ein Annotator, der meldet statt zu raten, hat genau das Richtige getan und sollte niemals dafür bestraft werden.
Plattformen, die das Melden bestrafen, erhalten weniger Meldungen und schlechtere Daten, weil die Mehrdeutigkeit nicht verschwindet, sondern stillschweigend und inkonsistent gelöst wird, wo niemand sie sehen kann.
Weitere Fragen
Was macht ein Annotationsrubrik gut?
Explizite Behandlung von Randfällen. Annotatoren sind selten über klare Beispiele uneinig, daher wird eine Rubrik, die hauptsächlich aus Definitionen und wenigen Randfällen besteht, inkonsistente Labels erzeugen.
Sollte eine Rubrik während eines Projekts geändert werden?
Nein. Frieren Sie es ein, wenn die Charge beginnt, damit der Standard nicht abweichen kann, und wenden Sie Verbesserungen auf die nächste Charge an. Andernfalls wird korrekt abgeschlossene Arbeit rückwirkend falsch.
Was sollte passieren, wenn ein Annotator einen mehrdeutigen Fall meldet?
Es sollte als ein Fehler in der Rubrik behandelt und explizit gelöst werden. Das Bestrafen des Meldens drückt die Mehrdeutigkeit einfach unter die Oberfläche, wo sie inkonsistent gelöst wird.