Author:
Abstract
Hızlı gelişen teknoloji ile beraber bilgisayar ortamında bireye uyarlanmış testlerin eğitimde ölçme değerlendirme uygulamalarındaki kullanımı da artmıştır. Bilgisayar ortamında bireye uyarlanmış testler genellikle geniş ölçekli test uygulamalarında kullanılırken bireye uyarlanmış testlere sınıf içi uygulamalarda çok sık rastlanmaz. Bilgisayar uyarlamalı bireye uyarlanmış testlerin en önemli öğelerinden biri olan soru bankalarının tasarımı da eğitimde ölçme değerlendirme alanında sıklıkla çalışılan bir konu haline gelmiştir. Bu çalışmanın ilk aşamasında Ahmet Yesevi Üniversitesi Uzaktan Eğitim Programlarında yüz yüze uygulanmış Araştırma Yöntemleri dersi sınavlarında kullanılmış maddelerden oluşan iki parametreli madde tepki kuramına dayalı olarak bir soru bankası tasarlanmıştır. Daha sonra bu soru bankası üzerinde çalışan bireyselleştirilmiş çok aşamalı testler, R programının xxIRT paketi kullanılarak oluşturulmuştur. Farklı panel yapılarında (1-2, 1-3, 1-2-2 ve 1-3-3) geliştirilen bu bireyselleştirilmiş çok aşamalı testler ile 500er tekrarlı simülasyonlarla yetenek kestirimleri yapılarak farklı simülatif koşullar karşılaştırılmıştır. Aşama sayıları ve yönlendirme modülündeki madde sayıları değişen bireyselleştirilmiş çok aşamalı testler simülatif olarak karşılaştırılarak ölçme kesinliği açısından en iyi sonucu veren modelin belirlenmesi amaçlanmıştır. Tüm karşılaştırmalar sonucunda 1-3-3 panel yapısında ve 10 maddelik yönlendirme modülü olan koşulda en küçük RMSE ve yanlılık değerleri elde edilmiştir. Çalışmada, aşama sayısı ve yönlendirme modülündeki madde sayısı arttıkça elde edilen yetenek kestirimlerindeki ölçme hatasının küçüldüğü sonucuna ulaşılmıştır. Bu sonuç önceden benzer konularda yapılmış çok sayıda çalışma ile paralellik göstermektedir (Doğruöz, 2018, Patsula, 1999,Sarı, 2016, Yang, 2016 ve Zenisky ,2004).
Keywords
Abstract
Along with the rapidly developing technology, the use of computer adaptive tests in educational measurement and evaluation applications has also increased. Computer adaptive tests are commonly used for large scale test applications but there are not so many studies about classroom practices that use computer adaptive tests. The design of question banks, which is one of the most important elements of computer adaptive tests, has also become a frequently studied subject in the field of educational assessment and evaluation. In the first stage of this study, a question bank was designed based on the two-parameter item response theory, which consists of the items used in the face-to-face Research Methods course exams in Ahmet Yesevi University Distance Education Programs. Then, multi stage adaptive tests running on this question bank were created using the xxIRT package of the R program. With these multi-stage tests developed in different panel structures (1-2, 1-3, 1-2-2 and 1-3-3), ability estimations were made with 500 repetitive simulations and different simulative conditions were compared. It is aimed to determine the model that gives the best result in terms of measurement precision by simulative comparison of individualized multi-stage tests with varying number of stages and item numbers in the routing module. As a result of all comparisons, the smallest RMSE and bias values were obtained in the 1-3-3 panel structure and the 10-item routing module. In the study, it was concluded that as the number of stages and the number of items in the routing module increased, the measurement error in the obtained ability estimations decreased. This result is in parallel with many previous studies on similar subjects(Doğruöz, 2018, Patsula, 1999,Sarı, 2016, Yang, 2016 & Zenisky ,2004).