Gelişim Sınavları Nasıl Hazırlanır ve Uygulanır?

Gelişim sınavının ne olduğunu bir başka yazıda özet şeklinde açıklamıştık. Bu yazıda ise gelişim sınavlarını hazırlarken ve bu sınavları uygularken dikkat edilmesi gereken noktalardan bahsedilecek.

Gelişim sınavları İngiltere’den Güneydoğu Asya’ya, Afrika’dan Karayiplere yani neredeyse dünyanın her yerinde kullanılmaktadır. Bu yaygın kullanım, sınavın çok çeşitli şekillerde hazırlanmasına ve uygulanmasına yol açmaktadır. Bu sınavı bazı fakülteler yılda iki kez bazıları dört kez uygulamakta, soru sayıları 100 ile 250 arasında değişmekte, puan hesaplamaları farklılaşmaktadır. Bu durum, gelişim sınavları hakkında ortak bir dille konuşamamayı doğurmakta, geçerli ve güvenilir verilerin elde edilememesine yol açmaktadır.

Bu yüzden sınavın kendisini uluslararası standartlarla biçimlendirmek bir ihtiyaç olmuştur. Tabii bu süreçte ülkelerin ve fakültelerin kendine has özelliklerini göz ardı etme yanlışına da düşülmemesi gerekir.

Standartlaştırma için sınavın geliştirilme sürecini ele almak gerekir. Buna dört başlık altında bakabiliriz:

1. Sınavın hazırlanması
2. Sınavın yönetimi
3. Sonuçların analizi ve değerlendirilmesi
4. Bütün paydaşlara geri bildirim verilmesi

Sınavın hazırlanması beş bileşenden oluşur: 

1.1. Planın (blueprint) hazırlanması
1.2. Soruların yazımı
1.3. Soru bankası
1.4. Değerlendirme kurulu ve koordinatörler

1.1 Planın hazırlanmasıyla başlayalım. Bilgilerin sınıflandırılmasını içeren plan, gelişim sınavının geçerliliği ve güvenilirliği için önemlidir. Çünkü bu sınıflandırma sayesinde içeriğin soru dağılımına dengeli yansıması sağlanabilir. Dengeyi oluşturması gereken kuvvet, fakültenin 6 yılın sonunda öğrencilerin ulaşmasını beklediği hedeflerdir. Soru dağılımının planı bir tablo yapılarak oluşturulur. Mesela satırlarda anabilim dalları (anatomi, fizyoloji, kardiyoloji..), sütunda ise beceriler (tanı, tedavi…) yer alabilir. Bu tabloda yer alan hücrelere soru sayıları yazılır ve hangi daldan ve beceriden ne kadar soru yer alacağı belirlenir. Bu süreç, uzmanların kendi aralarında mutabakata ulaşmasıyla tamamlanır. Swanson ve arkadaşlarının (2010) çalışmasından uyarlanılarak oluşturulan örnek tablo, aşağıda verilmiştir.

	Hastalık mekanizması	Tanı	Tedavi	…	TOPLAM
1 İmmünolojik bozukluklar	1	2	1	1	5
2 Kardiyovasküler hastalıklar	2	4	4	2	12
3 Solunum sistemi hastalıkları	1	3	1	2	7
4 Jinekolojik hastalıklar	2	3	3	1	9
5 Kas-İskelet hastalıkları	1	2	1	3	7
6 …	2	2	1	1	6
TOPLAM	9	16	11	10	46

Planın yapılmasından sonra 1.2. Soruların yazımına geçelim. Kaliteli soru yazmak zor iştir. Hele de belli bir dersle ya da konuyla ilgili değil de 6 yılın öğrenim hedefleri gibi geniş tanımlanmış hedeflerle ilgili soruları literatür bilgisiyle destekleyerek yazmak daha da zordur. Çünkü hem çok detaya inmemeli hem de öğrenim hedefiyle ilgi kurulmalıdır. Bu zorlukları aşmak için dikkat edilmesi gereken bazı noktalar vardır.

Bunlardan ilki, soru yazacak kişilerin eğitilmesidir. Yazılan soruların kalitesini artırmanın yolları bellidir, bu konuda çok sayıda yayın vardır. Önemli olan, soru yazarlarının bu kaynaklardan yararlanarak kendilerini geliştirmeleridir.

Bir diğeri uygunluktur (relevance). Sorular yazılırken, 6 yılın öğrenim hedefleriyle uygunluk gözetilmelidir. Uygunluğun üzerinde mutabakata varılması zordur ancak gelişim sınavında bu bağlamda dikkat edilmesi gereken; ayrıntıya girilmemesi, pratikte karşılığı olan kısımlara odaklanılması, prevalansı ya da riski yüksek durumların ele alınmaya gayret edilmesidir.

Dikkat edilmesi gereken bir başka nokta, soruların şekli ve sayısıdır. Gelişim sınavının çoktan seçmeli sorulardan oluştuğunu söylemiştik. Çoktan seçmeli sorular; doğru-yanlış, tek en iyi cevap, çok sayıda cevap, karmaşık çoktan seçmeli gibi türlerde sorulardan meydana gelebilir. Doğru-yanlış sorularının güvenilirliği düşükken, tek en iyi cevap soruları daha yüksek güvenilirliğe sahiptir. Soru sayısına gelecek olursak, birçok ülkede farklı olduğunu görürüz. Almanya ve Hollanda’nın ortak konsorsiyumu 200 soru olarak belirlemişken Kanada 180, Birleşik Krallık ise 120-125 soru olarak belirlemiştir. Soru sayısının az olması, öğrenim hedeflerinin tamamını kapsamayı zorlaştırır ve sınavın kapsam geçerliliğini düşürebilir. Bu yüzden fazla olması önerilir.

Gelişim sınavları, 1.3. Soru bankası oluşturulmasını gerektirir. Bu bankada, baştaki plana göre hazırlanmış ve kalitesi onaylanmış sorular güvenli bir şekilde depolanır. Sabitlik yoktur, sürekli soru girişi ve çıkışı olur. Soru bankasının bir yöneticisi olur ve bu yönetici takibi yaparak gerekli kişileri bilgilendirir. Soru bankasında ne kadar sorunun bulunması gerektiği çok sayıda değişkene bağlıdır. 

Gelişim sınavının yılda kaç kez yapıldığı, soruların tekrar kullanımı konusunda izlenen politika, öğrencilerin sınav sonrası kitapçığı alıp alamadıkları gibi konular gerekli soru sayısını etkiler. Mesela Hollanda’da belirlenen bir politikaya göre bir soru en fazla 3 yıl kullanılır. Sınav da yılda 4 kez yapıldığı için soru bankasında 3x4x200=2400 sorunun bulunması gerekir.

1.4. Değerlendirme kurulu ve koordinatörler soru yazımı sürecinde yönlendiricilik bakımından önemli rol oynar. Her sorunun güncel literatürle uyumlu olup olmadığını sürekli kontrol etmek, başta yapılan planla uyumunun kontrolü, soru akışını yönlendirmek, kitapçıkların hazırlanması gibi işleri yapar. Mesela Hollanda’da bu iş için 4 yerel, 1 de ulusal kurul vardır. Bu kurulların altışar üyesi bulunur ve üyeler temel, klinik ve davranış bilimleri alanlarında arka plana sahip kişilerdir.

1. Sınavın hazırlanması maddesini yukarıda ifade ettikten sonra 2. Sınavın yönetimine gelelim. Burada yer alan noktalardan biri 2.1. Sınavın amacıdır. Sınavı öğrencilerin geçme/kalma kararını etkileyecek şekilde yani düzey belirleyici (summative) olarak mı yoksa sadece geri bildirim almak/vermek için biçimlendirici (formative) tarzda mı yapılacağı kararı verilir. Hollanda ve Birleşik Krallık’ta gelişim sınavlarının sonuçları geçme/kalma kararlarında etkiliyken Kanada ve Almanya’da etkili değildir. Etkili olmamasının yararı, öğrencilerin kopya çekme ve daha önce sorulan soruları birbirlerine verme konusunda pek istek duymamalarına neden olmasıdır. Bu, soruların tekrar kullanılabilmesine imkân sağlar. 

2.2. Sınavın sıklığı yerden yere değişmektedir; Almanya’da yılda 2, Hollanda ve Birleşik Krallık’ta 4 kez yapılır. Toplam soru sayısı sabit kalsa bile sınav sıklığının artması, güvenilirliği artırmaktadır. Mesela 4 kez yapılan 100 soruluk sınavlar, 2 kez yapılan 200 soruluk sınavlardan toplamda daha yüksek güvenilirlik üretmektedir. Bu yüzden sınav sayısını fazla tutmak olumlu sonuçlar oluşturur.

Bir diğer konu 2.3. Sınavın süresidir. Süre, sınavdaki soru sayısına göre düzenlenir. Birleşik Krallık’ta toplam 2.5 saat verilirken, ABD’de NBME 5 saat verir. Hollanda’da tecrübeler, soru başına 75-85 saniyenin uygun olduğunu göstermektedir. Buna rağmen, okunması uzun süren soruların oranına göre değişiklikler de yapılmalıdır.

Gelişim sınavlarının hazırlanmasındaki bir başka başlık 3. Sonuçların analizi ve değerlendirilmesidir. Buradaki en önemli noktalardan biri, öğrencilerin gelişiminin güvenilir ve savunulabilir göstergesini üretebilmektir. Bu da 3.1. Puan hesaplama metoduna, 3.2. Ölçüt ayarlama metoduna, 3.3 Öğrencilerin soruları değerlendirmesine ve 3.4. Soruların sınav sonrasında uzmanlar tarafından değerlendirilmesine bağlıdır. 3.1. Puan hesaplama metodu, öğrencinin alacağı toplam puanda çok etkilidir. Mesela 5 seçenekli sorulardan oluşan bir sınavdan alınacak puanlar, 4 yanlışın 1 doğruyu götürmesi kuralının uygulanıp uygulanmamasına göre değişkenlik gösterir. Bu kuralın uygulanmasının sebebi, 5 seçenekli sorularda doğru cevabı tahmin yoluyla bulmanın %25 olan ihtimalini göz ardı etmeme isteğidir. Kullanılmasını önerenler olduğu gibi, kullanılmaması gerektiğini söyleyenler de mevcuttur.

Kullanılacak olan 3.2. Ölçüt ayarlama metodu; geçme/kalma puanının nerede olacağını, hangi puanın hangi notu alacağını belirler. Geçme notu, yaygın kullanılan yöntemler olan kriter-bağımlı yöntemle de norm-bağımlı yöntemle de hesaplanabilir. Kriter-bağımlı yöntem, baştan kesin bir puanı verir ve mesela “70’in üstü geçer, 70’in altı kalır” der. Norm-bağımlı yöntemde ise geçme/kalma sınırı, sınava giren öğrencilerin aldıkları puana göre değişkendir. Her ikisinin de kendine göre avantajları ve dezavantajları vardır.

Sınav sonrasında kitapçıkların ve cevapların verilip 3.3. Öğrencilerin soruları değerlendirmesi; sorularla ilgili geri bildirim sağlaması bakımından bizlere, bilgileri gözden geçirmeleri ve bilgilerin kalıcılığını sağlaması bakımından öğrencilere faydalı olmaktadır. Buna rağmen birçok yerde gelişim sınavının soru kitapçığı ve cevapları öğrencilere verilmemektedir. Çünkü bu, yeni sorular hazırlamayı gerektireceği için fakülteye yük oluşturur.

Gelişim sınavıyla ilgili bir diğer önemli nokta 4. Bütün paydaşlara geri bildirim verilmesidir. Öğrencilerin tekrarlı sınavları girip düzenli olarak geri bildirim almasının, öğrencileri daha fazla öğrenmeye teşvik ettiği, bilgileri daha fazla hatırlamalarına yardımcı olduğu ve öğrendikleri bilgileri farklı alanlara aktarabilme becerilerini artırdığı gösterilmiştir. Dolayısıyla sınav sonuçlarının öğrencilere sistematik bir şekilde iletilmesi, sonuçların yıllar içindeki değişiminin grafiklerle ifade edilmesi, öğrencilerin özellikle danışmanlarıyla gelişimleri hakkında fikir alış verişinde bulunmaları değerlidir. Geri bildirim sadece öğrencilere verilmez; aynı zamanda soru yazarlarına, eğiticilere, fakülteye ve değerlendirme kurullarına da verilir.

Bu içerik tamamen aşağıdaki kaynaklardan yararlanılarak, sizi o asıl kaynaklara başvurmaya teşvik etmek için oluşturulmuştur.
 

Kaynak

D. B. Swanson, K. Z. Holtzman, A. Butler, M. M. Langer, M. V. Nelson, J. W.M. Chow, R. Fuller, J. A. Patterson, M. Boohan & The Multi-School Progress Testing Committee (2010) Collaboration across the pond: The multi-school progress testing project. Medical Teacher, 32:6, 480-485, DOI: 10.3109/0142159X.2010.485655

William Wrigley, Cees PM Van Der Vleuten, Adrian Freeman, Arno Muijtjens (2012) A systemic framework for the progress test: Strengths, constraints and issues: AMEE Guide No. 71. Medical Teacher, 34:9, 683-697, DOI: 10.3109/0142159X.2012.704437

Okuduğunuz bu yazıyı cihazınıza PDF olarak kaydetmek için şu bağlantıyı ziyaret edebilirsiniz: Gelişim Sınavları Nasıl Hazırlanır ve Uygulanır? - PDF