Eğitim araştırmalarında kayıp veri durumunda farklı kappa katsayılarının incelenmesi

Abstract

Bu çalışmada puanlayıcılar arası uyumu incelemek için araştırmalarda yaygın olarak kullanılan Cohen Kappa, Gwet Kappa, Silme Yöntemli Kappa, Fleiss Kappa, Light Kappa ve çalışma kapsamında önerilen Gwet Kappa'ya dayalı Light Kappa yöntemlerinin kayıp veri durumunda nasıl değişim göstereceğinin incelenmesi amaçlanmaktadır. Çalışmada, farklı kayıp oranlarında (%5, %10, %15, %20, %25, %30) MCAR yöntemi ile kayıp değer ataması yapılarak elde edilen farklı senaryolar için iki ve daha fazla puanlayıcı durumlarında uyum tabloları oluşturulmuş ve kappa katsayıları hesaplanmıştır. Elde edilen bulgulara göre karşılaştırmalar yapılmış ve kayıp değer durumunda hangi kappa türünün daha iyi sonuç verdiği incelenmiştir. İki puanlayıcı olduğunda, katılımcı sayısı 10000, kayıplık oranı %30 Gwet Kappa katsayısının daha iyi sonuç verdiği gözlemlenmiştir. Kayıp veri durumunda Liste bazında silmeye dayanan kappa sık tercih edilen bir yöntemdir ancak veri kaybına yol açtığından Gwet Kappa kullanılması önerilir. Gwet Kappa kayıp değerleri ayrı bir kategoride hesaplamaya dahil ettiğinden sonuçlar daha anlamlı çıkmıştır. İkiden fazla puanlayıcı olması durumunda, katılımcı sayısı 100, kayıplık oranları %15 ve %20 olduğunda; katılımcı sayısı 1000, kayıplık oranı %5 olduğunda; katılımcı sayısı 10000, kayıplık oranları %5 ve %10 olduğunda çalışma kapsamında önerilen Gwet Kappa'ya Dayalı Light Kappa yaklaşımının daha iyi performans gösterdiği görülmüştür. Gerçek veri kümelerinden elde edilen bulgulara göre 3 puanlayıcı için Fleiss Kappa, Light Kappa ve Gwet Kappa'ya Dayalı Light Kappa hesaplamalarında çalışma kapsamında önerilen Gwet Kappa'ya Dayalı Light Kappa yaklaşımının tüm kayıplık oranlarında da oldukça iyi olduğu söylenebilir.