JwumaAccordo tra annotatori: quale numero è effettivamente sufficiente
· 2 min di lettura · quality, specification
Questa traduzione è stata prodotta automaticamente e non è stata verificata da un madrelingua. In caso di dubbio, fa fede la versione inglese. Segnalaci eventuali errori e li correggeremo. English
Non esiste una soglia universale. Un alto accordo su un compito facile non significa nulla, e un basso accordo su un compito realmente contestato può essere il risultato piuttosto che un difetto. Chiedere l'accordo suddiviso per segmento e per annotatore piuttosto che un unico numero aggregato, perché l'aggregato nasconde sistematicamente la parte che è problematica.
In breve
- Un singolo punteggio aggregato di accordo nasconde i fallimenti a livello di segmento.
- Un alto accordo su un compito banale non fornisce informazioni.
- Su compiti soggettivi, il disaccordo sistematico è spesso il segnale.
- L'accordo dovrebbe essere riportato per segmento e per annotatore.
- Le misure corrette per il caso contano quando la distribuzione delle classi è sbilanciata.
Stai definendo un progetto simile?
Preferiamo parlare del problema piuttosto che quotare un volume.
Vedi i serviziPerché un numero non è sufficiente?
Perché i dataset non sono uniformi. Un accordo di 0,85 complessivo può comodamente contenere un segmento a 0,4 che è proprio quello che ti interessa, e nulla nel numero principale ti dice che è lì.
Questo è il modo più comune in cui un dataset passa l'accettazione e poi fallisce in fase di addestramento. Chiedere la suddivisione prima di accettare, non dopo.
Quando il disaccordo è effettivamente la risposta?
Su giudizi realmente soggettivi. Se metà degli annotatori qualificati considera una risposta accettabile e l'altra metà no, forzare un'unica etichetta distrugge l'informazione più utile nel lotto.
Per il lavoro di allineamento e sicurezza in particolare, un fornitore ben organizzato registra la divisione e la indirizza all'arbitrato con la traccia preservata, piuttosto che risolverla per maggioranza e riportare un accordo pulito.
Cosa dovresti chiedere a un fornitore di riportare?
Accordo per segmento, accordo per annotatore e una misura corretta per il caso dove la distribuzione delle classi è sbilanciata. La percentuale grezza di accordo su un compito dove il novanta percento degli elementi condivide un'etichetta dice quasi nulla.
Chiedi anche come vengono misurati i revisori stessi. Un fornitore che misura gli annotatori ma non i revisori ha un punto di fallimento non esaminato che sovrasta ogni etichetta nel dataset.
- Accordo per segmento di dati
- Accordo per annotatore
- Una misura corretta per il caso su distribuzioni sbilanciate
- Come vengono misurati i revisori stessi
- Come vengono registrate e arbitrate le divisioni genuine
Altre domande
Quale punteggio di accordo tra annotatori dovrei richiedere?
Non esiste un numero universale. Ciò che conta è l'accordo suddiviso per segmento e per annotatore, e se il compito è uno in cui il disaccordo è un segnale legittimo piuttosto che un errore.
Un alto accordo è sempre positivo?
No. Un alto accordo su un compito facile non fornisce informazioni, e può anche indicare che gli annotatori convergono su un'errata interpretazione condivisa del criterio piuttosto che essere realmente d'accordo.
Il disaccordo dovrebbe sempre essere risolto?
Non su compiti soggettivi. Il disaccordo sistematico tra annotatori qualificati è spesso l'informazione più utile in un lotto, e appiattirlo in un'unica etichetta lo scarta.