JwumaAccord inter-annotateur, quel chiffre est réellement suffisant
· 3 min de lecture · quality, specification
Cette traduction a été produite par une machine et n'a pas été vérifiée par un locuteur natif. En cas de doute, la version anglaise fait foi. Signalez-nous toute erreur et nous la corrigerons. English
Il n'y a pas de seuil universel. Un accord élevé sur une tâche facile ne signifie rien, et un faible accord sur une tâche véritablement contestée peut être la découverte plutôt qu'un défaut. Demandez un accord ventilé par tranche et par annotateur plutôt qu'un seul chiffre global, car le chiffre global cache systématiquement la partie qui est défaillante.
En bref
- Un seul score d'accord global cache les échecs au niveau des tranches.
- Un accord élevé sur une tâche triviale ne porte aucune information.
- Sur les tâches subjectives, le désaccord systématique est souvent le signal.
- L'accord doit être rapporté par tranche et par annotateur.
- Les mesures corrigées du hasard sont importantes lorsque la distribution des classes est biaisée.
Un projet de ce type à cadrer ?
Nous préférons parler du problème plutôt que chiffrer un volume.
Voir nos prestationsPourquoi un seul chiffre ne suffit-il pas ?
Parce que les ensembles de données ne sont pas uniformes. Un accord de 0,85 au total peut facilement contenir une tranche à 0,4 qui se trouve être la tranche qui vous intéresse réellement, et rien dans le chiffre principal ne vous indique qu'elle est là.
C'est la manière la plus courante pour qu'un ensemble de données passe l'acceptation puis échoue à l'entraînement. Demandez la ventilation avant d'accepter, pas après.
Quand le désaccord est-il réellement la réponse ?
Sur les jugements véritablement subjectifs. Si la moitié des annotateurs qualifiés considèrent qu'une réponse est acceptable et l'autre moitié non, forcer une seule étiquette détruit l'information la plus informative du lot.
Pour le travail d'alignement et de sécurité en particulier, un fournisseur bien géré enregistre la répartition et la soumet à l'arbitrage avec la trace préservée, plutôt que de la résoudre par majorité et de rapporter un accord clair.
Que devriez-vous demander à un fournisseur de rapporter ?
Accord par tranche, accord par annotateur, et une mesure corrigée du hasard lorsque la distribution des classes est biaisée. Le pourcentage brut d'accord sur une tâche où quatre-vingt-dix pour cent des éléments partagent une étiquette ne vous dit presque rien.
Demandez également comment les réviseurs eux-mêmes sont mesurés. Un fournisseur qui mesure les annotateurs mais pas les réviseurs a un point de défaillance unique non examiné au-dessus de chaque étiquette dans l'ensemble de données.
- Accord par tranche de données
- Accord par annotateur
- Une mesure corrigée du hasard sur les distributions biaisées
- Comment les réviseurs sont eux-mêmes mesurés
- Comment les véritables divergences sont enregistrées et arbitrées
Autres questions
Quel score d'accord inter-annotateur devrais-je exiger ?
Il n'y a pas de chiffre universel. Ce qui compte, c'est l'accord ventilé par tranche et par annotateur, et si la tâche est une où le désaccord est un signal légitime plutôt qu'une erreur.
Un accord élevé est-il toujours bon ?
Non. Un accord élevé sur une tâche facile ne porte aucune information, et peut également indiquer que les annotateurs convergent vers une mauvaise interprétation partagée du cahier des charges plutôt que d'être réellement d'accord.
Le désaccord doit-il toujours être résolu ?
Pas sur les tâches subjectives. Le désaccord systématique entre annotateurs qualifiés est souvent l'information la plus utile dans un lot, et le réduire à une seule étiquette la supprime.