Madde tepki kuramına dayalı test eşitleme yöntemlerinin karşılaştırılması : PISA 2012 fen testi örneği

Abstract

Bu çalışmanın amacı, madde tepki kuramına dayalı test eşitleme yöntemlerini gerçek veriler üzerinde karşılaştırmak ve en az hata veren yöntemi tespit etmektir. Bu amaçla PISA 2012 fen okuryazarlığı testinden seçilen iki kitapçık (kitapçık-1 ve kitapçık-8) ölçek dönüştürme (ortalama-ortalama, ortalama-standart sapma, Stocking-Lord, Haebara) ve test eşitleme yöntemleri (MTK gerçek-puan eşitleme, MTK gözlenen-puan eşitleme) kullanılarak eşitlenmiş ve farklı yöntemlerden elde edilen hata miktarları incelenmiştir. Araştırmanın çalışma grubunu, 1 numaralı kitapçığı cevaplayan 350 ve 8 numaralı kitapçığı cevaplayan 351 olmak üzere toplam 701 öğrenci oluşturmaktadır. Denk olmayan gruplarda ortak madde deseninde yürütülen çalışmada her iki kitapçıkta 17'si ortak olmak üzere ikili puanlanan toplam 33 madde yer almaktadır. Verilerin analizinde ilk olarak madde tepki kuramının varsayımları test edilmiştir. İkinci aşamada madde ve yetenek parametreleri iki parametreli lojistik model (2PLM) kullanılarak BILOG-MG programı ile kestirilmiştir. Parametre kestiriminde EAP (Beklenen A Posteriori) yöntemi kullanılmıştır. Ardından STUIRT programı ile dört farklı yöntem için ölçek dönüştürme işlemi gerçekleştirilmiştir. Son aşamada ise iki kitapçıktan elde edilen puanlar POLYEQUATE programı ile eşitlenmiş ve farklı yöntemlerden elde edilen hata miktarları için WMSE (ağırlıklandırılmış hata kareleri ortalaması) katsayısı hesaplanmıştır. Araştırmadan elde edilen sonuçlara göre, en az hata miktarını ortalama-standart sapma yönteminin verdiği görülmüştür. Bu yöntemi sırasıyla ortalama-ortalama, Stocking-Lord ve Haebara yöntemleri takip etmektedir. Test eşitleme yöntemlerinden elde edilen sonuçlar incelendiğinde ise her iki yöntem birbirine benzer sonuçlar vermekle birlikte MTK gözlenen-puan eşitleme yönteminin MTK gerçek-puan eşitleme yönteminden daha az hata miktarına sahip olduğu bulunmuştur.