JwumaAnnotatorlararo kelishuv, qanday raqam yetarli darajada yaxshi
· 2 daqiqa o‘qish · quality, specification
Ushbu tarjima mashina tomonidan tayyorlangan va ona tili egasi tomonidan tekshirilmagan. Noaniqlik bo‘lsa, inglizcha versiya asl hisoblanadi. Xato bo‘lsa ayting, tuzatamiz. English
Umumiy bir mezon yo'q. Oson vazifada yuqori kelishuv hech narsani anglatmaydi, va haqiqatan ham bahsli vazifada past kelishuv nuqson emas, balki topilma bo'lishi mumkin. Birlashtirilgan raqam o'rniga kelishuvni bo'lim va annotator bo'yicha so'rang, chunki umumiy raqam buzilgan qismini yashiradi.
Qisqacha
- Yagona umumiy kelishuv balli bo'lim darajasidagi muvaffaqiyatsizliklarni yashiradi.
- Oddiy vazifada yuqori kelishuv hech qanday ma'lumot bermaydi.
- Subyektiv vazifalarda tizimli kelishmovchilik ko'pincha signal hisoblanadi.
- Kelishuv bo'lim va annotator bo'yicha hisobot qilinishi kerak.
- Sinflar taqsimoti notekis bo'lganda tasodifiy tuzatilgan o'lchovlar muhimdir.
Shunga o‘xshash loyiha rejalashtiryapsizmi?
Hajm bo‘yicha narx berishdan ko‘ra muammoni muhokama qilishni afzal ko‘ramiz.
Imkoniyatlarni ko‘rishNega bitta raqam yetarli emas?
Chunki ma'lumotlar to'plamlari bir xil emas. Umumiy 0.85 kelishuvi 0.4 bo'lgan bo'limni o'z ichiga olishi mumkin, bu siz haqiqatan ham qiziqadigan bo'limdir, va sarlavha raqamida uning mavjudligi haqida hech narsa aytilmaydi.
Bu ma'lumotlar to'plami qabul qilinib, keyin o'qitishda muvaffaqiyatsiz bo'lishining eng keng tarqalgan usuli. Qabul qilishdan oldin bo'linishni so'rang, keyin emas.
Qachon kelishmovchilik aslida javob bo'ladi?
Haqiqatan ham subyektiv hukmlarda. Agar malakali annotatorlarning yarmi javobni maqbul deb hisoblasalar va yarmi yo'q, bitta yorliqni majburlash partiyadagi eng ma'lumotli narsani yo'q qiladi.
Xususan, moslashuv va xavfsizlik ishlarida, yaxshi boshqariladigan yetkazib beruvchi bo'linishni yozib oladi va uni hal qilish uchun yo'naltiradi, ko'pchilik orqali hal qilish va toza kelishuvni hisobot qilish o'rniga.
Yetkazib beruvchidan nimani hisobot qilishni so'rash kerak?
Bo'lim bo'yicha kelishuv, annotator bo'yicha kelishuv, va sinflar taqsimoti notekis bo'lganda tasodifiy tuzatilgan o'lchov. To'qqiz foiz elementlar bitta yorliqni bo'lishadigan vazifada xom foiz kelishuvi deyarli hech narsani aytmaydi.
Shuningdek, sharhlovchilar o'zlari qanday o'lchanishini so'rang. Annotatorlarni o'lchaydigan, lekin sharhlovchilarni o'lchamaydigan yetkazib beruvchi har bir yorliq ustida tekshirilmagan yagona nuqson nuqtasiga ega.
- Ma'lumot bo'limi bo'yicha kelishuv
- Annotator bo'yicha kelishuv
- Notekis taqsimotlarda tasodifiy tuzatilgan o'lchov
- Sharhlovchilar o'zlari qanday o'lchanadi
- Haqiqiy bo'linishlar qanday yoziladi va hal qilinadi
Boshqa savollar
Qanday annotatorlararo kelishuv ballini talab qilishim kerak?
Umumiy raqam yo'q. Muhimi, bo'lim va annotator bo'yicha kelishuv va vazifa kelishmovchilik signal bo'lgan vazifa emasmi, balki xato emasmi.
Yuqori kelishuv har doim yaxshi bo'ladimi?
Yo'q. Oson vazifada yuqori kelishuv hech qanday ma'lumot bermaydi, va annotatorlar rubrikani noto'g'ri tushunishga kelishib olishganini ko'rsatishi mumkin.
Kelishmovchilik har doim hal qilinishi kerakmi?
Subyektiv vazifalarda emas. Malakali annotatorlar o'rtasidagi tizimli kelishmovchilik ko'pincha partiyadagi eng foydali ma'lumotdir, va uni bitta yorliqqa tekislash uni yo'q qiladi.