JwumaAra-yorumlayıcı anlaşması, hangi sayı gerçekten yeterince iyi
· 2 dk okuma · quality, specification
Bu çeviri makine tarafından üretilmiştir ve ana dili konuşan biri tarafından kontrol edilmemiştir. Tereddüt halinde İngilizce sürüm esastır. Yanlış görünen bir şey varsa bize bildirin, düzeltelim. 英语
Evrensel bir eşik yoktur. Kolay bir görevde yüksek anlaşma hiçbir şey ifade etmez ve gerçekten tartışmalı bir görevde düşük anlaşma bir kusurdan ziyade bulgu olabilir. Tek bir toplam sayı yerine anlaşmanın dilim ve yorumlayıcı bazında rapor edilmesini isteyin çünkü toplam sayı genellikle sorunlu olan kısmı gizler.
Kısaca
- Tek bir toplam anlaşma puanı, dilim düzeyindeki başarısızlıkları gizler.
- Önemsiz bir görevde yüksek anlaşma bilgi taşımaz.
- Öznel görevlerde, sistematik anlaşmazlık genellikle sinyaldir.
- Anlaşma dilim ve yorumlayıcı bazında rapor edilmelidir.
- Sınıf dağılımının dengesiz olduğu durumlarda şansa göre düzeltilmiş ölçümler önemlidir.
Benzer bir proje mi planlıyorsunuz?
Hacim üzerinden fiyat vermek yerine sorunu konuşmayı tercih ederiz.
Hizmetleri görünNeden tek bir sayı yeterli değil?
Çünkü veri setleri homojen değildir. Genel olarak 0.85 anlaşma, aslında önemsediğiniz dilimin 0.4 olduğu bir dilimi rahatlıkla içerebilir ve başlık numarası bunun orada olduğunu size söylemez.
Bu, bir veri setinin kabul edilip ardından eğitimde başarısız olmasının en yaygın yoludur. Kabul etmeden önce dökümü isteyin, sonrasında değil.
Anlaşmazlık ne zaman aslında cevaptır?
Gerçekten öznel yargılarda. Kalifiye yorumlayıcıların yarısı bir yanıtı kabul edilebilir buluyorsa ve yarısı bulmuyorsa, tek bir etiket zorlamak partideki en bilgilendirici şeyi yok eder.
Özellikle hizalama ve güvenlik çalışmaları için, iyi yönetilen bir tedarikçi bölünmeyi kaydeder ve çoğunlukla çözmek yerine temiz bir anlaşma rapor ederek yargıya yönlendirir.
Bir tedarikçiden ne rapor etmesini istemelisiniz?
Dilim başına anlaşma, yorumlayıcı başına anlaşma ve sınıf dağılımının dengesiz olduğu durumlarda şansa göre düzeltilmiş bir ölçüm. Öğelerin yüzde doksanının bir etiketi paylaştığı bir görevdeki ham yüzde anlaşma neredeyse hiçbir şey söylemez.
Ayrıca, gözden geçirenlerin kendilerinin nasıl ölçüldüğünü sorun. Yorumlayıcıları ölçen ancak gözden geçirenleri ölçmeyen bir tedarikçi, veri setindeki her etiketin üzerinde incelenmemiş bir tek hata noktası bulundurur.
- Veri dilimi başına anlaşma
- Yorumlayıcı başına anlaşma
- Dengesiz dağılımlarda şansa göre düzeltilmiş bir ölçüm
- Gözden geçirenlerin kendilerinin nasıl ölçüldüğü
- Gerçek bölünmelerin nasıl kaydedildiği ve yargılandığı
Diğer sorular
Hangi ara-yorumlayıcı anlaşma puanını talep etmeliyim?
Evrensel bir sayı yoktur. Önemli olan, dilim ve yorumlayıcı bazında anlaşma ve görevin anlaşmazlığın hata yerine meşru sinyal olduğu bir görev olup olmadığıdır.
Yüksek anlaşma her zaman iyi midir?
Hayır. Kolay bir görevde yüksek anlaşma bilgi taşımaz ve ayrıca yorumlayıcıların gerçekten anlaşmak yerine rubriğin ortak bir yanlış yorumlamasına yönelmesi anlamına gelebilir.
Anlaşmazlık her zaman çözülmeli mi?
Öznel görevlerde değil. Kalifiye yorumlayıcılar arasındaki sistematik anlaşmazlık genellikle bir partideki en yararlı bilgidir ve bunu tek bir etikete indirgemek onu yok eder.