JwumaHaqiqiylik bilan to'qnashuvda omon qoladigan annotatsiya rubrikasini qanday yozish kerak
· 2 daqiqa o‘qish · specification, quality
Ushbu tarjima mashina tomonidan tayyorlangan va ona tili egasi tomonidan tekshirilmagan. Noaniqlik bo‘lsa, inglizcha versiya asl hisoblanadi. Xato bo‘lsa ayting, tuzatamiz. English
Yaxshi rubrika ta'riflardan ko'ra ko'proq chekka holatlarga e'tibor qaratadi, chunki annotatorlar aniq holatlar haqida kamdan-kam tortishadilar. Partiya boshlanganda uni muzlatib qo'ying, shunda standart loyiha davomida o'zgarmaydi va annotator tomonidan belgilangan har qanday noaniqlikni annotatorning xatosi emas, balki rubrika nuqsoni sifatida ko'rib chiqing.
Qisqacha
- Annotatorlar o'rtasidagi kelishmovchilik deyarli faqat chekka holatlarda to'planadi.
- Rubrika partiya boshlanganda muzlatilishi va keyinchalik versiyalanishi kerak.
- Har bir yorliq uni ishlab chiqargan rubrika versiyasiga izlanishi kerak.
- Belgilangani noaniqlik rubrika nuqsoni, annotatorning xatosi emas.
- Partiya o'rtasida o'zgartirilgan rubrika o'sha partiya bo'yicha taqqoslashni bekor qiladi.
Shunga o‘xshash loyiha rejalashtiryapsizmi?
Hajm bo‘yicha narx berishdan ko‘ra muammoni muhokama qilishni afzal ko‘ramiz.
Imkoniyatlarni ko‘rishNega rubrikalar muvaffaqiyatsizlikka uchraydi?
Deyarli hech qachon ta'riflar noto'g'ri bo'lgani uchun emas. Ular muvaffaqiyatsizlikka uchraydi, chunki ta'riflar yaxshi va chekka holatlar yo'q, shuning uchun yigirma annotator mustaqil ravishda bir xil javobsiz savolga yigirma xil javob ixtiro qiladi.
Eng keng tarqalgan alomat - bu kelishuv ballari umumiy ko'rinishda maqbul ko'rinadi, lekin ma'lumotlarning ma'lum bir qismi jimjit qimmatli emas. Umumiy kelishuv buni yaxshi yashiradi.
Rubrikaning qancha qismi chekka holatlar bo'lishi kerak?
Ko'p qismi. Agar rubrikangiz asosan ta'riflardan iborat bo'lsa va oxirida qisqa misollar bo'lsa, bu rubrika emas, balki lug'atdir.
Uni yozishning samarali usuli - kam aniqlangan rubrika bilan kichik pilot partiyasini o'tkazish, annotator tomonidan noaniq deb belgilangan har bir holatni yig'ish va har birini aniq qoida sifatida o'zgartirishdir. Pilotning maqsadi ma'lumot ishlab chiqarish emas, balki savollarni topishdir.
Nega rubrikani muzlatish kerak?
Chunki agar standart partiya o'rtasida o'zgarsa, eski ta'rifga muvofiq to'g'ri bajarilgan ish retrospektiv ravishda noto'g'ri bo'ladi va ma'lumotlar to'plamidan qaysi elementlar qaysi versiyada baholanganini aniqlay olmaysiz.
Muzlatish partiya ochilganda kuchga kirgan versiya o'sha partiyani boshqarishini anglatadi. Yaxshilanishlar keyingi partiyaga qo'llaniladi. Har bir yorliq keyin uni ishlab chiqargan versiyani olib yuradi, bu esa bir yil o'tgach, kimdir nima uchun ikki o'xshash element turlicha belgilanganini so'raganda, ma'lumotlar to'plamini tekshirish imkonini beradi.
Belgilangani noaniqlik qanday hal qilinishi kerak?
Bu sizning rubrikangizdagi nuqson haqida hisobot sifatida, bu aslida shunday. Taxmin qilish o'rniga belgilagan annotator aynan to'g'ri ishni qildi va buning uchun hech qachon jazolanmasligi kerak.
Flaglash uchun jazolaydigan platformalar kamroq flaglar va yomonroq ma'lumotlar oladi, chunki noaniqlik yo'qolmaydi, u shunchaki hech kim ko'ra olmaydigan joyda jimjit va nomuvofiq hal qilinadi.
Boshqa savollar
Annotatsiya rubrikasini nima yaxshi qiladi?
Chekka holatlarni aniq ko'rib chiqish. Annotatorlar aniq misollar haqida kamdan-kam tortishadilar, shuning uchun asosan ta'riflar va kam chekka holatlarga ega rubrika nomuvofiq yorliqlarni ishlab chiqaradi.
Rubrika loyiha davomida o'zgartirilishi kerakmi?
Yo'q. Partiya boshlanganda uni muzlatib qo'ying, shunda standart o'zgarmaydi va yaxshilanishlar keyingi partiyaga qo'llaniladi. Aks holda to'g'ri bajarilgan ish retrospektiv ravishda noto'g'ri bo'ladi.
Annotator noaniq holatni belgilaganda nima bo'lishi kerak?
Bu rubrikadagi nuqson sifatida ko'rib chiqilishi va aniq hal qilinishi kerak. Flaglash uchun jazolash shunchaki noaniqlikni hech kim ko'ra olmaydigan joyda jimjit va nomuvofiq hal qilinishiga olib keladi.