Değerlendirmede Standart Belirleme Yöntemleri

Standart belirleme yöntemleri insanların yargılarına bağlıdır; tek, kesin ve mükemmel bir yöntem yoktur. Linn ve ark., 1982

- Standart belirleme konusuna başlamadan önce “madde” ve “kesme puanı” terimlerini neyi ifade ettiğini bilmekte fayda vardır. “Madde”, sınavdaki her bir soruya verilen isimdir. “Madde zorluğu, maddenin çeldiriciliği” gibi öbeklerde yer alır. “Kesme puanı” ise geçme/kalma sınırını ifade eden puandır. Ben bu yazıda bu kavramları kullanmayacağım ama literatürde sıkça karşılaşabileceğiniz için ifade etmekteyim. Ayrıca, “madde”nin yabancı dildeki literatürde “item” olarak, “kesme”nin ise “cut-off” olarak ifade edildiğini bilmeniz faydanıza olacaktır.-

Ölçme-değerlendirmede, öğrencinin sınavı başarıyla tamamlayıp tamamlayamadığına bakılır. İsteriz ki her öğrenci kendini öyle geliştirsin ki hepsi tam puan alsın. Ama bu, gerçeklerle uyuşmaz. Yüksek puanlar alanlar olacağı gibi düşük puanlar alacak olanlar da vardır. Dolayısıyla bu noktada bizim için önemli olan, geçme/kalma sınırının nereye konulacağıdır. 

Geleneksel bir yaklaşımla, “%70’in altında kalanlar geçemez” diyebilirsiniz ama böyle yaparsanız “neden %70” denildiği zaman insanlara sunabileceğiniz güçlü bir argüman bulamazsınız. Bu duruma düşmemek ve kararlarınızı savunabilmek için standart belirleme yöntemlerini bilmeniz ve uygulamanız gerekir.

Standart belirleme yöntemleri genelde çoktan seçmeli ve benzeri yazılı sınavlar için kullanılmıştır. Sonraları performans değerlendirme sınavları da ortaya çıkınca, onlar için de kullanılabilecek yöntemler geliştirilmiştir.

Belirlenecek olan geçme/kalma seviyesi yani standart, iki türlü olabilir: Mutlak (criterion-referenced) ve bağıl (norm-referenced). Bağıl standart, “çan eğrisi” olarak da bilinen yöntemle oluşturulur. 

Mutlak bir geçme/kalma notu yoktur; bu not, grubun başarısına göre oluşur. Bu tip standart, çok kötü bir grupta çok daha düşük puanlarla bile “geçme” hakkını elde etmeye, çok başarılı bir grupta az önce bahsettiğimiz grubun geçenlerinden daha yüksek bir puan alınmasına rağmen “kalma”ya neden olabilir. Mutlak standartta ise baştan belirlenen bir seviye vardır ve bu seviye grubun sınav başarısına göre değişmez.

Standartların bir diğer ayrımı, telafi edici (compensatory) ve birleşik (conjunctive) şeklinde yapılmaktadır. Bu kavramların anlaşılması için OSCE üzerinden örnek verebiliriz. Mesela bir OSCE’de öğrenci, öykü alma istasyonundan çok düşük puan almış olsun ama diğer istasyonlardan yüksek puanlar alsın. İstasyonların toplamından aldığı puan, belirlenen geçme seviyesinin üzerindeyse, telafi edici türde standardın uygulandığı bir OSCE’de bu öğrenci öykü alma konusunda başarısız olsa bile sınavdan başarılı olur. Ama birleşik standart uygulansa bu öğrencinin toplamda aldığı geçer not, sınavı geçmesi için yeterli olmazdı. Öykü alma istasyonundan da geçer not alması istenirdi.  

Telafi edici ve birleşik standarttan hangisinin seçileceğine karar vermede, soruların/istasyonların birbirleriyle içerik anlamında alaka düzeyi bize yardımcı olabilir. Eğer sorular birbirleriyle alakalıysa telafi edici standartlar, alakasızsa birleşik standartlar kullanılmaya daha uygundur. Dolayısıyla, aynı sınavda birbirleriyle alakalı sorular için telafi edici, alakasız sorular için birleşik standart uygulanabilir. Hangisinin kullanılacağına karar vermede, sınavın ne amaçla yapıldığı da etkilidir. Mesela biçimlendirici (formative) geri bildirim vermek için yapılan sınavlarda birleşik standart daha uygundur. 

Mutlak (Criterion-Referenced) Standart Belirleme Yöntemleri

Test Merkezli Yöntemler

Test merkezli yöntemler, geçmek için gerekli olan seviyeyi sınavdaki soruların incelenmesi sonucunda elde eder. Angoff, Ebel, Nedelsky ve Jaeger (Yes/No) yöntemleri test merkezlidir.

Angoff yöntemi, yaygın kullanılan bir modeldir. Bu yönteme göre uzmanlar, her bir soru için, geçme/kalma sınırında yer alan hayalî bir öğrenci topluluğunun yüzde kaçının o soruyu doğru cevaplayacağını tahmin eder. Uzmanların tahminlerinin ortalaması, sınavın geçme/kalma sınırını oluşturur.

Ebel’de sorular uygunluk ve zorluk başlıklarına göre kategorilere ayrılır ve uzmanlar bu soruların her biri için, geçme/kalma açısından tam sınırda yer aldığı düşünülen hayalî bir öğrenci topluluğunun yüzde kaçının doğru cevap vereceğini tahmin eder. Geçme/kalma seviyesi, uzmanların belirlediği doğru sayısı ile ortaya çıkar. Ebel’in bir avantajı, soruları uygunluk ve zorluğa göre sınıflandırılmasıdır.

Nedelsky yöntemi, çoktan seçmeli sorulardan oluşan sınavlar için oluşturulmuştur. Her bir soru uzmanlar tarafından incelenir ve ucu ucuna “geçer” not alacak seviyedeki bir öğrencinin çeldirici seçeneklerden hangilerini eleyebileceği tahmin edilir. Mesela 5 seçenekli bir soruyu inceleyen uzmanlar, bahsettiğimiz seviyedeki bir öğrencinin 2 yanlış seçeneği kolayca eleyebileceğini düşünmüş olsun. Dolayısıyla bu sorudaki geçme notu 1/3=0.33 puandır. Sınavdaki bir diğer soru için, bu öğrenci 3 seçeneği eleyebilir dediklerini varsayalım; bu durumda bu soru için geçme puanı 1/2=0.5 puan olurdu. Her bir soru için bu inceleme yapılır ve elde edilen puanlar toplanarak sınavdaki geçme notuna ulaşılır.

Jaeger (Yes/No) yönteminde ise uzmanlar her bir soruyu, yine tam geçme/kalma sınırındaki hayalî bir öğrencinin o soruyu doğru cevaplayıp cevaplayamayacağına göre değerlendirir. Uzmanlar, öğrencinin doğru yapacağını düşünüyorsa “evet/1”, yanlış yapacağını düşünüyorsa “hayır/0” cevabını verir. Verilen cevaplara göre geçme puanı elde edilir. Bu yöntem, özellikle OSCE gibi sınavların standartlarını belirlemede kullanılabilir.

Öğrenci Merkezli Yöntemler

Sınır-Grup yönteminde, hayalî öğrencilerin soruları cevaplama oranlarına değil, uzmanların tecrübelerine ve gözlemlerine göre geçme/kalma sınırında olan gerçek öğrencilerin aldıkları puanlara göre standart belirlenir. Bu öğrencilerin seçimi uzmanlar tarafından kişisel tecrübelerine göre yapılabileceği gibi, başka değerlendirme yöntemlerine göre de yapılabilir. Bu öğrencilerin, standardın belirleneceği sınavdan aldıkları puanların birbirlerine yakın şekilde olması yani kümelenmesi beklenir. Dağılım çok genişse bir sorun olduğu düşünülür.

Karşıt-Grup yönteminde öğrenciler, bu öğrencileri daha önceden gözlemlemiş olan uzmanlar tarafından “yeterli-yetersiz” olarak iki gruba ayrılır. Bu gruplardaki öğrencilerin sınavdan aldıkları puanlar grafiğe dökülür. Dağılım çizgilerinin kesiştiği nokta, geçme/kalma puanını ifade eder. İki grafik çizgisinin altında kalan kısımların üst üste geldiği alanın küçük olması istenir çünkü bu alanın miktarının artışı, ayırt ediciliğin azaldığını gösterir.

Mutlak standart belirleme yöntemlerinin yanında, bağıl standart belirleme yöntemleri olduğunu da söylemiştik. Bazı yöntemler ise hem mutlak hem bağıl standart belirleme yöntemlerini içerir. Hofstee yöntemi, buna bir örnektir. 

Hangi yöntem kullanılırsa kullanılsın, standart belirlemede yer alacak olan uzmanlar iyi seçilmelidir. Uzmanlar alanı bilmeli, yöntemlere aşina olmalı, problem çözme konusunda gelişmiş olmalı, sınava katılan öğrencileri tanıyor olmalı ve eğitici titrine sahip olmalıdır.

Bu içerik tamamen aşağıdaki kaynaklardan yararlanılarak, sizi o asıl kaynaklara başvurmaya teşvik etmek için oluşturulmuştur.

Kaynak

Ben-David MF (2000) AMEE Guide No. 18: Standard setting in student assessment. Medical Teacher, 22(2), 120–130. doi:10.1080/01421590078526

Demir O, Köse İ (2014) Angoff, Nedelsky ve Ebel Standart Belirleme Yöntemleri ile Belirlenen Kesme Puanlarının Karşılaştırılması. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 10(2). https://dergipark.org.tr/mersinefd/issue/17394/181823

Mıdık Ö, Karabilgin Ö (2011) Tıp Eğitiminde Öğrenci Değerlendirmelerinde Standart Belirleme: Sanal Bir Sınav Kurgusunda Geçme Kalma Sınırı. Tıp Eğitimi Dünyası, 29 (29), 21-33. http://dergipark.org.tr/ted/issue/21315/228699

Okuduğunuz bu yazıyı cihazınıza PDF olarak kaydetmek için şu bağlantıyı ziyaret edebilirsiniz: Değerlendirmede Standart Belirleme Yöntemleri - PDF