TIMSS 2015 Sekizinci sınıf matematik başarı testinin OECD ülkelerine göre ölçme değişmezliğinin incelenmesi

Abstract

Bu çalışmada TIMSS 2015 verileri kullanılarak, matematik başarı testine katılan sekizinci sınıf öğrencilerinin matematik başarılarının ülkelere göre ölçme değişmezliği incelenerek, ülkeler bakımından farklılık gösterip göstermediği, değişmezliği sağlayıp sağlamadığı, sağlıyor ise en iyi hangi değişmezlik türünde sağlandığı tespit edilmiş, önceden bu alanda yapılmış çalışmalarda ortak ve farklı yönlere bakılarak, uygulayıcıya ve araştırmaya yönelik önerilere önemli noktalarda değinilmiştir. İlk aşamada, ilişkisel tarama modelinde yürütülen araştırmaya TIMSS 2015 değerlendirmesinde uygulanan bilişsel test kitapçıklarından tüm ülkelerde ortak olarak uygulanmış olan 11 no'lu kitapçık seçilmiştir ve araştırma TIMSS'e katılan ülkelerde 11 no'lu kitapçığı almış olan 301.472 öğrenciye ait veri seti üzerinden yürütülmüştür. Ülkelerin sekizinci sınıf matematik başarı testi puanları için test istatistikleri, normallik testleri ve güvenilirlik katsayılarına bakılmış, merkezi eğilim ve dağılım ölçülerinin birbirine yakın olduğu sonucuna varılmıştır. Normallik için basıklık ve çarpıklık katsayıları incelenerek, veri setinin normale yakın bir dağılım gösterdiğini söylemek mümkündür. Test maddelerinin güvenilirlik katsayılarının ve iç tutarlılığının genel olarak iyi olduğu sonucuna ulaşılmıştır. Daha sonraki aşamada OECD ülkeleri seçilerek bu ülkelerde bulunan sekizinci sınıfa giden 7.223 öğrenci için ayrı ayrı doğrulayıcı faktör analizi yapılarak χ2/sd oranının oldukça iyi olduğu sonucuna ulaşılmıştır. Uyum indekslerine bakıldığında, CFI değerlerinin örneklemde yer alan bütün ülkelerde iyi uyum gösterdiği, GFI değerlerinin Hong Kong, İsveç, İtalya, Japonya, Kore ve Türkiye için iyi uyuma yakın, diğer ülkeler için oldukça iyi uyum gösterdiği, SRMR değerlerinin Hong Kong, İsveç, İtalya için iyi uyuma yakın, geri kalan ülkeler içinse çok iyi uyum gösterdiği tespit edilerek uyum indeksleri genel olarak değerlendirildiğinde tüm ülkelere ait ölçme modellerinin tüm gruplar için ayrı ayrı doğrulandığına karar verilmiştir. Daha sonra tüm gruplar için kovaryans matrislerinin eşitliği testi yapılarak ölçme değişmezliğinin test edilmesi aşamasına geçilmiştir. OECD üyesi ülkelerin matematik başarı testi puanları için kovaryans matrislerinin eşitliği testi sonuçlarını ele aldığımızda, uyum indekslerinin oldukça iyi bir uyum gösterdiği ifade edilebilir. H0 (daha kısıtlı model ile daha az kısıtlı model arasında uyum açısından anlamlı bir fark yoktur) ve H1 ( daha kısıtlı model ile daha az kısıtlı model arasında uyum açısından anlamlı bir fark vardır) hipotezleri kurularak, ölçme değişmezliği çoklu-grup doğrulayıcı faktör analizi ile test edilmiştir. Yapısal değişmezlik için uyum indekslerinin değerlerinin kabul edilebilir düzeylerde olduğu ve modelin doğrulandığı söylenebilir. Daha sonra Model 1'e alternatif olarak kurulan Model 2, Model 3 ve Model 4'ün yuvalanmış model (nested) temel alınarak karşılaştırılması sonucunda, sırasıyla yapısal değişmezlik (Model 1) ve zayıf faktöriyel değişmezlik (Model 2), yapısal değişmezlik (Model 1) ve güçlü faktöriyel değişmezlik (Model 3), zayıf faktöriyel değişmezlik (Model 2) ve güçlü faktöriyel değişmezlik (Model 3) arasında manidar bir fark olması sebebi ile H0 ret edilmiştir (H1 kabul edilmiştir). Yapısal değişmezlik (Model 1) ve katı faktöriyel değişmezlik (Model 4), güçlü faktöriyel değişmezlik(Model 3) ve katı faktöriyel değişmezlik (Model 4) arasında manidar bir farkın olmaması sebebi ile H0 kabul edilmiştir (H1 ret edilmiştir) şeklinde ifade edilebilir. Sonuç olarak, araştırma sonuçları OECD üyesi ülkeler için ölçme değişmezliğinin sağlanamadığını, ölçme değişmezliğine ilişkin modeller arasında en iyi çalışan modelin güçlü faktöriyel değişmezlik modeli olduğunu göstermiştir. Literatürde bazı araştırma sonuçları, geniş ölçekli çalışmalarda farklı ülkeler arasında ölçme değişmezliğinin sağlandığını, bunun aksine bazı araştırma sonuçları da farklı dil ve farklı kültürlere sahip bireyler arasında kullanılan ölçme araçlarında ölçme değişmezliğinin sağlanamadığını raporlaştırmıştır. Bu sonuçlar bağlamında, madde yazımında her ülkenin kendine has yaşanmışlığı, tarihi ve kültürel değer ve gelenekleri olması sebebi ile farklı kültürden ve milletlerden insanların komisyonda yer alması gerekliliği, sınav sorusu hazırlanmasından, sınavın uygulanması hatta sınavın sonucunun açıklanıp analiz edilmesine kadar eğitimde karar alıcılar ve politikacıların bu sınavlarda çok önemli işlevleri olması sebebi ile grup karşılaştırmalarına çok da güvenmemek gerektiği, ölçülen özellik ve uygulama türüne göre ölçme değişmezliğinin yorumlama, karşılaştırma çalışmalarının değişiklik gösterebileceği ve bu yüzden çalışmanın titizlikle yapılması gerekliliği uygulayıcıya yönelik önerileri oluşturur. Araştırmaya yönelik öneriler olarak da gelecek çalışmalarda farklı ülkeler ve demografik değişkenlerin de dahil edilmesi, farklı kitapçık türlerinin ve başarı alanlarının da analiz edilmesi, ölçme değişmezliğinin daha farklı yöntemlerle test edilerek, hangi yöntemin daha etkili olabileceğinin bulunması, farklı gruplar arasında dil, cinsiyet, kültür gibi değişkenlerle karşılaştırmalar yapılmadan önce yapılan yorumların daha anlamlı ve sağlıklı olabilmesi için ölçme aracına ilişkin ölçme değişmezliği çalışmalarının büyük bir titizlikle yapılması oldukça önemlidir. Tüm sonuçlar değerlendirildiğinde, TIMSS 2015 uygulamasında matematik başarısına ait elde edilen sonuçların farklı ülkeler, diller, cinsiyetler ve kültürlere sahip katılımcılardan elde edilen sonuçların karşılaştırılabilirliği ve buna bağlı olarak yapılan yorumlar ölçme değişmezliğinin sağlanamaması yani uygulanan ölçme aracının tüm katılımcılar için aynı anlamı ifade etmemesi nedeniyle tartışmaya açık hale gelmektedir. Bununla birlikte, geniş ölçekli sınav uygulamalarının sonuçları değerlendirilirken ölçme değişmezliğinin sağlanamıyor oluşu, özellikle ülkeler arası karşılaştırmalar ve yorumlamalar yapılırken titizlikle göz önünde bulundurulması gereken bir durumdur.