Kağıt-Kalem Testi ve Web Temelli Test Olarak Uygulanan Ölçme Araçlarının Ölçme Değişmezliği ve Evren Ayrışıklığı Bakımından Karşılaştırılması

ŞEKERCİOĞLU G.

5. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi, Antalya, Türkiye, 1 - 03 Eylül 2016, ss.220-221

  • Yayın Türü: Bildiri / Özet Bildiri
  • Basıldığı Şehir: Antalya
  • Basıldığı Ülke: Türkiye
  • Sayfa Sayıları: ss.220-221
  • Akdeniz Üniversitesi Adresli: Evet

Özet

Son yıllarda bilgisayar yazılım teknolojilerinin gelişmesi ve internetin yaygınlaşması ile araştırmacıların ölçek uygulamalarını web temelli (internet ortamında) yapma tercihinde bir artış gözlenmektedir. Ölçme araçlarının kağıt-kalem testi ya da web temelli test olarak uygulanması ile araçların ölçmeye yöneldiği psikolojik özellikte bir farklılık oluşup oluşmadığı, diğer bir ifadeyle aynı yapıyı ölçüp ölçmediği; ölçme aracından elde edilen puanlar çerçevesinde varyansların, kovaryansların ve örtük ortalamaların eşit olup olmadığı psikometrik bir problem olarak ele alınabilir. Bu araştırmanın genel amacı çok faktörlü (yurttaşlık aidiyeti ölçeği) ve tek faktörlü (kadercilik ölçeği) iki ölçme aracının, web temelli ve kağıt-kalem testi olarak uygulanması çerçevesinde, ölçme değişmezliği ve evren ayrışıklığı bakımından karşılaştırılmasıdır. Bu çalışmanın araştırma grubu Akdeniz Üniversitesi, Eğitim Fakültesindeki Rehberlik ve Psikolojik Danışmanlık, Fen Bilgisi Öğretmenliği, Sınıf Öğretmenliği ve Okul Öncesi Öğretmenliği bölümlerinde öğrenimine devam eden toplam 438 öğrenciden oluşmaktadır. Araştırma grubunun oluşturulmasında öncelikle araştırmaya katılmak için gönüllü olan öğrenciler belirlenmiştir. Bu belirlemenin ardından sınıf listeleri yeniden düzenlenmiş ve gruplar rassal sayılar tablosuna göre ikiye ayrılmıştır. Buna göre 222 katılımcı kağıt-kalem testi uygulamasına ve 216 katılımcı ise web temelli test uygulamasına dahil edilmiştir. Çalışmanın amacı doğrultusunda araştırma sorularına yanıt bulabilmek amacıyla doğrulayıcı faktör analizi (DFA), Cronbach alfa analizi, kovaryans matrisleri eşitliği testi ve çoklu-grup DFA uygulanmıştır. Elde edilen iki veri seti üzerinden ölçme değişmezliğine ilişkin yapılan çoklu grup DFA sonuçlarına göre, hem çok faktörlü desende hem de tek faktörlü desende dört değişmezlik modeli içinde en iyi çalışan modelin güçlü faktöriyel değişmezlik modeli olduğu, dolayısıyla ölçme değişmezliğinin sağlanamadığı sonucuna ulaşılmıştır. Diğer taraftan evren ayrışıklığına ilişkin yapılan analizlere göre, çok faktörlü desende kovaryansların eşitliği ve tek faktörlü desende ise örtük ortalamaların eşitliği hipotezi ile kurulan modellerin daha iyi çalıştığı, bir başka ifadeyle grupların tek bir örtük özellik altında tanımlanamadığı sonucuna ulaşılmıştır. Bu çerçevede sonuç olarak, araştırmacıların ölçme araçlarının kağıt-kalem testi ya da web temelli test yöntemleriyle uygulanması sonucunda, araçların aynı psikolojik özelliği ölçtüğüne ilişkin kabule şüpheyle yaklaşması gerektiği düşünülebilir.

Anahtar Kelimeler

Kağıt-kalem Testleri, Web Temelli Test, Ölçme Değişmezliği, Evren Ayrışıklığı, Psikometrik Nitelikler

In recent years, researchers mostly prefer to perform their studies in web-based areas thanks to developments of computer software and internet. Measurement instruments are administered as paper-and-pen tests or web-based tests, so it can be seen whether there is a change psychological trait that instruments aim to measure or not. In other words, within the framework of scores obtained from measurement too it can be discussed whether variances, covariance and implicit means are equal or not as a psychometric problem. The aim of this research is to compare multi-factor instrument (citizenship belonging scale) and single-factor instrument (fatalism scale) applied as paper-and-pen and web-based tests in terms of measurement invariance and population heterogeneity. The research group of this research consists of 438 students who study in Faculty of Education of Akdeniz University in the departments of Psychological Counseling and Guidance, Science Teaching, Primary School Teaching and Pre-school Teaching. Volunteer students were primarily determined to research group. After this determination, classroom lists were re-designed and the groups split in half according to random numbers table. According to this, 222 participants were included paper-and-pen test and 216 participants were included web-based test application. Confirmatory factor analysis (CFA), Cronbach alpha analysis, the equality of covariance matrices test and multi-group CFA were applied in order to find answers of research’ questions. According to the results of multi-group CFA which was performed for the two sets of data obtained through the measurement invariance, models strong factorial invariance model is the best working model in both multi-factor design and single-factor design, thereby measurement invariance could not be provided. On the other hand, according to population heterogeneity analysis the models which were set up with the hypothesis of covariance equality in multi-factor design and implicit means equality in single-factor design work better and the groups could not be defined under one latent trait. Consequently, it can be claimed that researchers should be doubtful about administrating paper-and-pencil tests or web based tests while measuring the same psychological trait.

Keywords

Paper-and-pen Tests, Web-based Tests, Measurement Invariance, Population Heterogeneity, Psychometric Properties