Senaryo Uygunluk Sınavı Nasıl Hazırlanır?

Bu yazıyı okumadan önce “Senaryo Uygunluk Sınavı (Script Concordance Test) Nedir?” başlıklı yazıyı okumanız tavsiye olunur.

Senaryo uygunluk sınavının temel özellikleri bir başka yazıda özet olarak açıklanmıştı. Bu yazıda ise senaryo uygunluk sınavı hazırlarken ve bu sınavları uygularken dikkat edilmesi gereken noktalardan bahsedilecek.

Her sınavı hazırlamadan önce yapılması gerektiği gibi senaryo uygunluk sınavı hazırlamadan önce de sınavın amacı (biçimlendirici değerlendirme mi yapılacak, mezuniyet için karar mı verilecek vb.), sınava kimlerin gireceği (mezuniyet öncesi, intörn, asistan), hangi alanda yapılacağı (göğüs cerrahisi, geriatri, iletişim becerileri) gibi durumlar belirlenmelidir. Çünkü bütün bunlar sınava yön verecektir.

Kapsam geçerliliğini sağlamak için de soruların konu alanını tamamen kapsadığını gösteren ayrıntılı bir plan/taslak (blueprint) hazırlanması uygun olacaktır.

Senaryo uygunluk sınavı için soru hazırlanmasına gelecek olursak, öncelikle madde-soru ayrımını yapmak gerekir. Bu sınavda her bir olguya “madde”, olguların içinde puanlanan her bir duruma da “soru” denir.  Sorulardaki durumlar, olguyla ilgilidir ama birbirleriyle ilişkisizdir; diğerinin devamı olarak düşünülmemelidir. Kafa karışıklığına yol açmaması için bu durum öğrencilere de iyi ifade edilmelidir. Sınavdaki maddeleri oluşturan senaryolar tablodaki örneklerde de yer aldığı gibi tanı koymaya, araştırmaya (tetkik), tedaviye yönelik olabilir.

Maddeleri (olguları) ve soruları hazırlarken dikkat edilmesi gereken bazı yönler şunlardır: 

- Olgu, gerçek meslekî yaşamda karşılaşılmış ve yaygın olan bir durumdan oluşmalıdır. Tablodaki örneklerde de görüldüğü gibi; kısa, gerçekçi ve sorunu çözmek için gereken bütün bilgileri içermeyen (ill-defined) bir yapıda olmalıdır.

- Olguyla ilgili sorularda; tanı, tetkik ve tedavi anlamında akla gelebilecek seçenekler (örnekte BPPV, geçici iskemik atak, meniere gibi) sıralanmalıdır. Bu, öğrencinin zihnindeki belirli senaryoları tetiklemek içindir. Dolayısıyla uç durumlar değil, inandırıcı olanlar seçilmelidir.

- Akla gelen durumlar konulduktan sonra, o durumlarla ilgili akıl yürütürken karar vermeye yarayan (vertigonun süresi) ya da yaramayan (deri lezyonuna müdahale öyküsü) bilgiler eklenmelidir.

(Madde yazımı hakkında ileri okuma için başvurabileceğiniz bir kaynak: Fournier JP, Demeester A, Charlin B. 2008. Script concordance tests: Guidelines for construction. BMC Med Inform Decis Mak 8:18)

Bazı tecrübeler, madde ve soru yazımı için 2 yazarın gerekli olduğunu göstermektedir. Bu yazarlar sınavın kime yapılacağını ve amacını bilmelidirler. Hazırlanan sınav uygulanmadan önce olguların ve soruların açıklık ve uygunluğu konusunda geri bildirim alınması için 2 ya da 3 bağımsız değerlendiriciye gönderilmelidir. 

Olgu ve sorularda gerçekliği sağlamak önemli bir konudur. Bunun için, görsel (video kaydı gibi) materyaller kullanılabilir.

Senaryo uygunluk sınavının güvenilirliğine (mesela Cronbach’s alpha değerinin 0.75–0.80 arasında olmasına) yetecek sayıda madde (olgu) ve soru sayısı hakkında çalışmalar yapılmıştır. 25 maddenin içine gömülmüş üçer sorunun, bu güvenilirliği sağladığı görülmüştür. Her bir maddede üçer sorunun olması az görülebilir ama bu, teorik ve psikometrik temellere dayanılarak belirlenmiştir. Bir hastayla karşılaşan hekim, o anda zihnine onlarca değil, sınırlı sayıda hipotez getirmektedir. 

Puanlama genellikle beşli Likert ölçeğiyle yapılır (-2’den +2’ye). Sınav eğer ölçme-değerlendirme için değil de öğrenmeyi teşvik için veya o konuyu henüz öğrenmemiş kişiler için yapılıyorsa -1, 0, +1’den oluşan üçlünün kullanılması daha uygundur. Buna örnek olarak, öğretim öncesinde öğrencilerin zihnindeki açıkları belirlemek ve oradan çıkan eksiklikleri öğretimin yönünü tayin edecek bir atlama tahtası olarak kullanmak verilebilir.

-2 ile +2 arasındaki seçeneklerin anlamı da verilmelidir. Tanı bakımından bu puanlar şöyle şekillenebilir:

-2: Neredeyse dışlanır
-1: Düşük ihtimal
0: İhtimal düşük de değil yüksek de değil
+1: Yüksek ihtimal
+2: Neredeyse kesin

Tetkik ve tedavi konusunda ise şu şekilde olabilir:

-2: Gereksiz ya da kontraendike
-1: Az gerekli/faydalı
0: Gereklilik/faydalılık az da değil çok da değil
+1: Yüksek gereklilik/faydalılık
+2: Neredeyse kesin gerekli/faydalı

Soruların yazımından sonra, seçeneklerin puanlanmasına sıra gelir, puanlama bir panel ile yapılır. Adı “referans paneli”dir. Bu puanlamayı uzmanlar, soruları tek tek çözerek yaparlar. Seçeneklerinin puanlarını belirlemek için gerekli uzman sayısının en az 10’dur. 15 uzmanla yapılan işlemin kalitesi yüksek olur. 20’den sonra ise getirdiği fayda azalır. Bu kişiler alanında uzman olmalıdır. Uzmanlığın nasıl belirleneceği hakkında genel geçer kurallar yoktur. Bu yüzden uzmanlık belgesi, alanındaki belirli sürelik tecrübe gibi ölçütler konulabilir.

15-20 uzmandan bir şeyler yapmalarını beklemek genelde zordur ama bu konuda zorluk yaşanması düşük ihtimaldir. Çünkü tüm yapmaları gereken, her gün karşılaştıkları durumları içeren ve uzmanlık alanlarına giren soruları cevaplamaktır. Hiçbir ön hazırlığa gerek yoktur. Buradan önemli bir nokta, kimin hangi soruyu nasıl cevapladığının gizli kalacağının garantisini vermektir. Bu garanti verilmediği zaman uzmanların katılımı azalabilir.

Öğrencilere sınav için verilecek sürenin, 20-25 maddeye yerleştirilmiş 60-90 soru için yaklaşık 1 saat olması uygundur. Ama önemli olan, bu sınava aşina olmayan öğrencilere sınav öncesi yeterli bilgi verilmesidir.

Sınavın kalitesini belirlemek için önce pilot uygulama yapmak önemlidir. Böylelikle sorunlu maddeler tespit edilerek düzeltilir. Ama bu sınavın doğası, sınavın zorluğunun ve ayırt ediciliğinin sınava giren katılımcının kendine has özelliklerine göre çok fazla değişmesine neden olmaktadır. Dolayısıyla iyi işlemeyen maddeler, sınav sonrasında hem uzmanların hem de öğrencilerin işaretledikleri seçeneklerin dağılımıyla ilgili bir inceleme yapılmasını gerektirebilir.

Sınavdaki kaliteli soru, uzmanların büyük çoğunluğu tarafından belirli bir seçeneğin seçildiği, bunun yanında o seçeneğe yakın seçenekleri seçen uzmanların da bulunduğu sorudur. Bütün uzmanların tek bir seçeneği seçtiği soru kaliteli değildir, tek doğru cevaplı çoktan seçmeli soruya dönüşmüştür. Seçeneklerin her birinin eşit sayıda uzman tarafından seçildiği soruların ise ayırt ediciliği yoktur. Bazı durumlarda, uzmanların büyük kısmı bir soru için mesela +1 ve +2 seçeneklerini seçmişken geri kalan az kısmı -2 gibi çok ters bir seçeneği işaretlemiş olabilir. Böyle durumlarda o azınlığı yok saymanın sınav sonuçlarının güvenilirliğine anlamlı bir etki yapmadığı, hatta bütün sorularda sürekli olarak çoğunluğun görüşünün tamamen zıttını seçen uzmanın tamamen yok sayılmasının da bir sorun oluşturmayacağı gösterilmiştir.

Öğrencilerin verdikleri cevapların incelenmesi de kalite hakkında bilgi verir. Madde-toplam korelasyonu negatif olanlar ve 0.05’ten küçük olan maddeler sınavdan çıkarılabilir. Ancak kesinlikle çıkarılması gerektiği anlamına gelmez çünkü bu, konu alanlarındaki ya da uzmanların yeterliliğindeki heterojenliği gösteriyor olabilir. Madde çıkarılmadan önce bunlar da göz önüne alınmalıdır. Ayrıca, güvenilirliği yeterli olmayan maddeleri sınavdan çıkarırken kapsam geçerliliğine vereceği zarar da unutulmamalıdır.

Senaryo uygunluk sınavlarında geçme/kalma puanını belirlemek için belirlenmiş ortak bir yöntem henüz oluşturulmamıştır. Buna rağmen birkaç yöntem önerilebilir. Bunlardan biri, geçme puanını, sınava giren uzmanların aldığı puanların ortalama -2SD seviyesi şeklinde belirlemek olabilir.

Bu içerik tamamen aşağıdaki kaynaktan yararlanılarak, sizi o asıl kaynağa başvurmaya teşvik etmek için oluşturulmuştur.

Kaynak

Lubarsky S, Dory V, Duggan P, Gagnon R, Charlin B (2013) Script concordance testing: From theory to practice: AMEE Guide No. 75. Medical Teacher, 35:3, 184-193. DOI: 10.3109/0142159X.2013.760036

Okuduğunuz bu yazıyı cihazınıza PDF olarak kaydetmek için şu bağlantıyı ziyaret edebilirsiniz:
Senaryo Uygunluk Sınavı Nasıl Hazırlanır? - PDF