JwumaAcordo entre anotadores: qual número é realmente bom o suficiente
· 2 min de leitura · quality, specification
Esta tradução foi produzida por máquina e não foi verificada por um falante nativo. Em caso de dúvida, a versão em inglês é a original. Diga-nos se algo estiver errado e corrigiremos. English
Não há um limite universal. Alto acordo em uma tarefa fácil não significa nada, e baixo acordo em uma tarefa genuinamente contestada pode ser a descoberta em vez de um defeito. Peça para o acordo ser detalhado por segmento e por anotador em vez de um número agregado, pois o agregado geralmente esconde a parte que está com problema.
Em resumo
- Um único índice de acordo agregado esconde falhas a nível de segmento.
- Alto acordo em uma tarefa trivial não traz informação.
- Em tarefas subjetivas, o desacordo sistemático é frequentemente o sinal.
- O acordo deve ser relatado por segmento e por anotador.
- Medidas corrigidas para o acaso são importantes quando a distribuição de classes é enviesada.
Está a definir algo assim?
Preferimos falar do problema em vez de orçamentar por volume.
Ver capacidadesPor que um número não é suficiente?
Porque os conjuntos de dados não são uniformes. Um acordo de 0,85 no geral pode confortavelmente conter um segmento com 0,4 que, por acaso, é o segmento que realmente importa para você, e nada no número principal indica que ele está lá.
Esta é a maneira mais comum de um conjunto de dados passar na aceitação e depois falhar no treinamento. Peça a discriminação antes de aceitar, não depois.
Quando o desacordo é realmente a resposta?
Em julgamentos genuinamente subjetivos. Se metade dos anotadores qualificados considera uma resposta aceitável e a outra metade não, forçar um único rótulo destrói a coisa mais informativa no lote.
Para trabalhos de alinhamento e segurança, em particular, um fornecedor bem organizado registra a divisão e a encaminha para adjudicação com o histórico preservado, em vez de resolvê-la por maioria e relatar um acordo limpo.
O que você deve pedir para um fornecedor relatar?
Acordo por segmento, acordo por anotador e uma medida corrigida para o acaso onde a distribuição de classes é enviesada. A porcentagem bruta de acordo em uma tarefa onde noventa por cento dos itens compartilham um rótulo quase não diz nada.
Também pergunte como os revisores são medidos. Um fornecedor que mede anotadores mas não revisores tem um ponto único de falha não examinado acima de cada rótulo no conjunto de dados.
- Acordo por segmento de dados
- Acordo por anotador
- Uma medida corrigida para o acaso em distribuições enviesadas
- Como os revisores são medidos
- Como divisões genuínas são registradas e adjudicadas
Outras perguntas
Qual índice de acordo entre anotadores devo exigir?
Não há um número universal. O que importa é o acordo detalhado por segmento e por anotador, e se a tarefa é uma onde o desacordo é um sinal legítimo em vez de erro.
Alto acordo é sempre bom?
Não. Alto acordo em uma tarefa fácil não traz informação, e também pode indicar que os anotadores estão convergindo para uma interpretação errada compartilhada do critério em vez de realmente concordarem.
O desacordo deve sempre ser resolvido?
Não em tarefas subjetivas. O desacordo sistemático entre anotadores qualificados é frequentemente a informação mais útil em um lote, e achatá-lo em um único rótulo o descarta.