Comment fonctionne une cascade de qualité à trois niveaux et comment vérifier la vôtre

Que détecte réellement chaque niveau ?

La validation automatique détecte les choses simples : champs manquants, sortie mal formée, images floues, quasi-duplicats, métadonnées absentes. Les détecter avant qu'un humain ne regarde fait la différence entre des réviseurs qui passent leur temps sur le jugement et ceux qui le passent sur le formatage.

La revue par les pairs détecte les défauts d'interprétation, où la sortie est bien formée mais incorrecte. L'adjudication senior existe pour les désaccords réels entre personnes compétentes, et ne devrait pas absorber les erreurs de routine que la revue par les pairs a manquées.

Pourquoi les réviseurs doivent-ils être mesurés ?

Parce qu'un réviseur applique son interprétation à tout ce qu'il touche, donc un réviseur qui a mal compris le guide introduit une erreur cohérente et invisible sur une grande partie du jeu de données. Rien en aval ne la détecte, car tout en aval fait confiance au réviseur.

Mesurer le taux de révision le rend visible. Un réviseur dont les décisions sont fréquemment annulées lors de l'adjudication est identifiable et corrigeable, ce qui est impossible si seuls les annotateurs sont notés.

Quel est le mode d'échec qui semble sain ?

Une haute acceptation, un haut accord et un jeu de données discrètement erroné dans une tranche. Cela se produit lorsque les annotateurs et les réviseurs partagent une mauvaise interprétation du guide : tout le monde est d'accord, rien n'est signalé, et la métrique indique que le projet se déroule bien.

Les éléments en or sont la défense. Des éléments avec une réponse correcte connue, semés dans le lot, mesurent la cascade plutôt que les annotateurs, et sont les seuls à détecter l'erreur de consensus.

• Semer des éléments en or avec des réponses connues
• Mesurer les réviseurs sur le taux de révision
• Rapporter l'accord par tranche, pas seulement globalement
• Suivre le taux de signalement comme un indicateur de santé, pas un coût

Que devriez-vous demander à voir ?

Les taux de révision par réviseur, la performance des éléments en or au fil du temps, et les taux de signalement par lot. Un taux de signalement en baisse est généralement interprété comme une amélioration de la qualité et est au moins aussi souvent le signe que les gens apprennent que signaler n'est pas bienvenu.

Demandez ce qui arrive à une ambiguïté signalée. Si la réponse est qu'elle est résolue par un réviseur sans mise à jour du guide, la même ambiguïté est résolue de manière incohérente dans le lot.

Qu'est-ce qu'une cascade de qualité dans l'annotation de données ?

Un processus de QA en couches où la validation automatique, la revue par les pairs et l'adjudication senior détectent chacun des défauts que le niveau précédent ne peut pas, de sorte que l'attention humaine coûteuse est consacrée au jugement plutôt qu'au formatage.

Pourquoi les réviseurs devraient-ils être mesurés en plus des annotateurs ?

Parce qu'une mauvaise interprétation d'un réviseur se propage de manière invisible à tout ce qu'il touche. Mesurer le taux de révision est ce qui rend l'erreur du réviseur détectable.

Comment détecter une erreur de consensus dans un jeu de données ?

Des éléments en or avec des réponses correctes connues, semés dans le lot. Ils mesurent l'ensemble de la cascade plutôt que les annotateurs individuels, et sont le seul détecteur fiable lorsque tout le monde partage la même mauvaise interprétation.