Ortaöğretim İngilizce yeterliğinin puanlayıcılar arası güvenirliğinin genellenebilirlik kuramı ve Rasch Modeli ile belirlenmesi


Creative Commons License

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Akdeniz Üniversitesi, Eğitim Bilimleri Enstitüsü, Türkiye

Tezin Onay Tarihi: 2023

Tezin Dili: Türkçe

Öğrenci: AYKUT TÜZAN

Danışman: Hakan Koğar

Özet:

Bu araştırmada; 2022-2023 öğretim yılına ait ortaöğretim 12. sınıf öğrencilerinin İngilizce yeterliğine ait puanların farklı puanlayıcılar tarafından bütünsel puanlama anahtarı ve puanlama anahtarı olmadan puanlanması sonucunda “Genellenebilirlik Kuramı” ve “Çok Değişkenlik Kaynaklı Rasch Modeli” ile güvenirliklerinin ve tutarlılıkların belirlenmesi hedeflenmiştir. Genellenebilirlik Kuramında çapraz desen ele alınarak karar çalışmalarının geçerliği ve karşılaştırılması incelenmiştir. Rasch modeli üzerinden çok değişkenlik modeli ile veriler ele alınmıştır. Bu kuramlar kullanılırken okul, cinsiyet ve ölçekli-ölçeksiz değerlendirme değişkenleri dikkate alınmış olup analizler tamamen gerçek veriler üzerinden uygulanmıştır.

Araştırmaya konu olan İngilizce yeterliğinin değerlendirilmesi için 12. sınıf seviyesinde kompozisyon yazma becerisini puanlamak amacıyla 3 farklı uzman tarafından değerlendirmeleri yapılması planlanan 4 farklı özellikteki ortaöğretim okullarında 12. sınıftaki öğrenim gören 124 öğrenciye uygulanmıştır. Bu öğrencilerin verdiği cevaplar 1’i ölçekli diğer ikisi ölçeksiz olacak şekilde 3 farklı puanlayıcı tarafından puanlanması yapılmıştır. Araştırmanın sonraki aşamasında elde edilen puanların güvenirliği “Genellenebilirlik Kuramı” ve “Çok Değişkenlik Rasch Modeli Kuramı”na göre incelenmiştir. Genellenebilirlik Kuramında 𝑏𝑥𝑝 (b: birey, p: puanlayıcı) çaprazlanmış desen kullanılmış olup güvenirlik katsayıları hesaplanmıştır. Çok Değişkenlik Kaynaklı Rasch Modeliyle ise birey, puanlayıcı, ve okul yüzeylerine ilişkin farklı güvenirlik hesaplamaları yapılmıştır. Hesaplama işlemi “Genellenebilirlik Kuramı” için EduG 6.1 (Swiss Society for Research İN Education Working Group, 2010) bilgisayar programı, ÇDKRM analizleri ise FACETS (Linacre, 2007) programı kullanılmıştır.

Bu araştırma sonrası elde edilen sonuçlara göre Genellenebilirlik Kuramına göre İngilizce yeterliliğinin G ve Phi katsayılarının alternatif karar çalışmalarında nispeten de olsa gerçek duruma göre farklı görülmüştür. Puanlayıcılar arası uyumun belirlenmesinde farklı değerler gösteren puanlayıcıların verdikleri puanlar arasında anlamlı bir ilişki olduğu sonucuna varılmıştır. Genellenebilirlik Kuramı doğrultusunda İngilizce yeterliğinin ölçülmesiyle elde edilen puanların birinci puanlayıcının G katsayısı 0.85 iken ikinci ve üçüncü punlayıcının 0.88 düzeyindedir. Birinci puanlayıcının Phi katsayısı 0.79, ikinci puanlayıcının Phi katsayısı 0.72 ve üçüncü puanlayıcının Phi katsayısı 0.82 olarak hesaplanmıştır. Bu sonuçlara göre, 2022 yılında uygulanan İngilizce yeterliliğinin ölçülmesi sonucunda puanlayıcılar arasında farklılık gösterdiği görülmüştür. İngilizce yeterliliğini ölçme adına yapılan çalışmada üç puanlayıcının puanları ortalamaları arasında fark olduğu görülmüş olup birbirleriyle uyumlu puanlama yaptıkları belirlenmiştir. Ayrıca madde sayısını artırmanın puanlayıcı sayısı artırmadan işgücü zaman ve maliyet açısından daha faydalı olacağı sonucuna ulaşılmıştır.

Yapılan bu araştırmada İngilizce yeterliğini ölçmede kullanılan kuramların arasında iki kuramında birbirine yakın sonuç verdiği görülmüştür. Bu iki kuramında detaylı inceleme yapılması amacıyla kullanılabilirliğin faydalı olacağı öngörülmektedir. Ayrıca puanlayıcıların ölçekli ve ölçeksiz puanlamaları sonrası ölçek kullanımının ortaya çıkarmış olduğu farkı görmek adına litaratüre katkı sağlayacağı düşünülmüştür.