JwumaAcuerdo entre anotadores: qué número es realmente suficiente
· 3 min de lectura · quality, specification
Esta traducción fue generada por una máquina y no ha sido revisada por un hablante nativo. Ante cualquier duda, la versión en inglés es la original. Avísanos si algo está mal y lo corregiremos. English
No hay un umbral universal. Un alto acuerdo en una tarea fácil no significa nada, y un bajo acuerdo en una tarea genuinamente disputada puede ser el hallazgo en lugar de un defecto. Pida el acuerdo desglosado por segmento y por anotador en lugar de un solo número agregado, porque el agregado oculta de manera confiable la parte que está rota.
En resumen
- Un solo puntaje de acuerdo agregado oculta fallas a nivel de segmento.
- Un alto acuerdo en una tarea trivial no aporta información.
- En tareas subjetivas, el desacuerdo sistemático es a menudo la señal.
- El acuerdo debe informarse por segmento y por anotador.
- Las medidas corregidas por azar son importantes cuando la distribución de clases está sesgada.
¿Estás definiendo algo así?
Preferimos hablar del problema antes que cotizar por volumen.
Ver capacidades¿Por qué un número no es suficiente?
Porque los conjuntos de datos no son uniformes. Un acuerdo de 0.85 en general puede contener cómodamente un segmento en 0.4 que resulta ser el segmento que realmente le importa, y nada en el número principal le dice que está allí.
Esta es la forma más común en que un conjunto de datos pasa la aceptación y luego falla en el entrenamiento. Pida el desglose antes de aceptar, no después.
¿Cuándo es el desacuerdo realmente la respuesta?
En juicios genuinamente subjetivos. Si la mitad de los anotadores calificados consideran una respuesta aceptable y la otra mitad no, forzar una sola etiqueta destruye lo más informativo del lote.
Para trabajos de alineación y seguridad en particular, un proveedor bien gestionado registra la división y la envía a adjudicación con el rastro preservado, en lugar de resolverlo por mayoría e informar un acuerdo limpio.
¿Qué debería pedirle a un proveedor que informe?
Acuerdo por segmento, acuerdo por anotador y una medida corregida por azar donde la distribución de clases está sesgada. El porcentaje de acuerdo bruto en una tarea donde el noventa por ciento de los elementos comparten una etiqueta no le dice casi nada.
También pregunte cómo se mide a los revisores. Un proveedor que mide a los anotadores pero no a los revisores tiene un punto único de falla no examinado por encima de cada etiqueta en el conjunto de datos.
- Acuerdo por segmento de datos
- Acuerdo por anotador
- Una medida corregida por azar en distribuciones sesgadas
- Cómo se mide a los revisores
- Cómo se registran y adjudican las divisiones genuinas
También preguntan
¿Qué puntaje de acuerdo entre anotadores debería exigir?
No hay un número universal. Lo que importa es el acuerdo desglosado por segmento y por anotador, y si la tarea es una en la que el desacuerdo es una señal legítima en lugar de un error.
¿Es siempre bueno un alto acuerdo?
No. Un alto acuerdo en una tarea fácil no aporta información, y también puede indicar que los anotadores convergen en una mala interpretación compartida de la rúbrica en lugar de estar genuinamente de acuerdo.
¿Debería siempre resolverse el desacuerdo?
No en tareas subjetivas. El desacuerdo sistemático entre anotadores calificados es a menudo la información más útil en un lote, y reducirlo a una sola etiqueta lo descarta.