OSCE Yazı Dizisi-1 | OSCE Öncesinde Performans Değerlendirmesi İçin Kullanılan Yöntemler

OSCE, bilindiği üzere Objective Structured Clinical Exam’in kısaltılmışı ve Nesnel Yapılandırılmış Klinik Sınav anlamına geliyor. OSCE’nin tanımlanması ilk kez 1975’te Ronald Harden tarafından, performans değerlendirme için kullanılan yöntemlere bir alternatif olarak yapılıyor. 
 

OSCE’yi bu yazı dizisinde etraflıca konuşacağız ama önce, OSCE’nin yerini aldığı yöntemlerden bahsedelim ki neden OSCE’ye ihtiyaç duyulduğu açığa kavuşsun.

Neredeyse her yenilik, ihtiyaçtan doğar. OSCE’ye ihtiyaç duymamıza neden olan yöntemler; kısa vaka sınavları, sözlü (viva voce) sınavlar, uzun vaka sınavları.

Kısa Vaka Sınavları

Bu sınavlarda öğrencilerden belirli bulguları olan 4-5 farklı gerçek hastayı kısaca ve sadece o bulguların işaret ettiği konu alanına odaklanarak değerlendirmesi istenir. Hasta başına 15-20 dakikalık bir süre ayrılır. Bu süre içinde öğrenci değerlendirmesini yapar, tanısını koyar. Başında bulunan 2 değerlendirici ise öğrenciyi değerlendirmek için sorular sorar ve öğrenciyle bir tartışma gerçekleştirir. Buna binaen her değerlendirici kendi notunu verir ve bu notların ortalaması öğrencinin nihai notunu belirler. 

Gerçek hastalar kullanıldığı için bu sınavlar avantajlıdır; öğrenci, bir hekimin gerçek mesleki yaşamda karşılaştığı hastalarla karşılaşır. Klinik değerlendirme becerilerinin ölçümünde iyi bir araçtır. Ancak dezavantajları göz ardı edilemez.

Bir yapılandırma olmadığı için geçerlilik ve güvenilirlik konusunda sorunludur. Not veren değerlendiriciler, standardize edilmiş bir değerlendirme yöntemine göre değil, kendi kişisel bakışlarına göre notlandırma yaparlar. Ayrıca, sınavda öğrencilerin karşısına çıkan hastalıkların türleri de her öğrenci için farklı farklı olacağından yine sorunlara yol açar.

Sözlü (Viva Voce) Sınavlar

Tipik bir sözlü sınavda öğrenciye bir vaka, patoloji numunesi, tetkik sonucu gibi klinik boyutu olan materyallerden verilir. Öğrenciye mesela vakayı incelemesi için süre verilir. Sonrasında değerlendiriciler, öğrenciye sorular yöneltir. Soruların amacı öğrencinin hatırlama, problem çözme, akıl yürütme gibi becerilerini ölçmektir. Sınav yapılandırılmadığı zaman değerlendiriciler arası kişisel farklılıkların performansın notlandırılmasına yansımasından dolayı sorunlara yol açar. Yapılandırılarak standardizasyona yaklaşılabilse de öğrencinin klinik performansının doğrudan gözlenememesi nedeniyle eksiktir.

Uzun Vaka Sınavları

Bu sınavlarda öğrenciden gerçek bir hastanın öyküsünü alması ve tam bir fizik muayene yapması istenir. Bunun için 30-45 dakika verilir ve genelde değerlendiriciler tarafından gözlenmez. Sonrasında değerlendiriciler öğrenciye bulgularla, tanıyla ve tedaviyle ilgili sorular yöneltir. Bakılan şey, öğrencinin bu konulardaki anlayışının derinliğidir.

Sürecin gerçek hasta üzerinden işlemesi, hastanın bir bütün olarak değerlendirilebilmesi ve öğrencinin nadir ve karmaşık vakalarla ilgili bilgi ve becerinin ölçülmesine imkân vermesi nedeniyle avantajlıdır. Bu avantajların yanında, soruların genellikle yapılandırılmış olmaması sorunlara yol açar. Ayrıca, tek bir vakayla geniş bir alana yayılan konuların hepsini değerlendirmek neredeyse imkânsızdır. Çok sayıda vakanın ele alınması ise uzun süre gerektirir. Bunlara ek olarak, öğrencinin iletişim becerileri ve profesyonellik bakımlarından değerlendirilmesi de pek mümkün olmamaktadır.

Uzun vaka sınavlarının yapı geçerliliği açısından daha geliştirilmiş hâli OSLER yani Objective Structured Long Exam Record’dur. Bu türde yapılan sınavlarda öğrenci öykü alırken ve fizik muayene yaparken de gözlenir ve bu sayede iletişim becerileri, muayene tekniği ve sistematiği, bulguları tespit edişi gibi özellikler de değerlendirilir.

OSCE’ye Duyulan İhtiyaç

Görüldüğü üzere yukarıda sayılan kısa vaka, sözlü ve uzun vaka türündeki geleneksel sınavlar, klinik performansın ölçümünde yapı ve standardizasyon açısından sorunlar oluşturmaktadır. Bu durumun farkında olan Harden, klinik performansın değerlendirilmesi konusundaki sorunları aşmak için OSCE’yi geliştirmiştir. OSCE, simüle (gerçek hastanın olmadığı) bir ortamda yapılan, yeterlilik tabanlı bir performans değerlendirmesidir.

Bir sonraki yazı: OSCE Yazı Dizisi-2 | OSCE’nin Temel Özellikleri

Bu içerik tamamen aşağıdaki kaynaktan yararlanılarak, sizi o asıl kaynağa başvurmaya teşvik etmek için oluşturulmuştur.

Kaynak

Khan KZ, Ramachandran S, Gaunt K, Pushkar P (2013) The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part I: An historical and theoretical perspective. Medical Teacher, 35:9, e1437-e1446. DOI: 10.3109/0142159X.2013.818634

Okuduğunuz bu yazıyı cihazınıza PDF olarak kaydetmek için şu bağlantıyı ziyaret edebilirsiniz: OSCE Yazı Dizisi-1 | OSCE Öncesinde Performans Değerlendirmesi İçin Kullanılan Yöntemler

Değerlendirmede Standart Belirleme Yöntemleri

Standart belirleme yöntemleri insanların yargılarına bağlıdır; tek, kesin ve mükemmel bir yöntem yoktur. Linn ve ark., 1982

- Standart belirleme konusuna başlamadan önce “madde” ve “kesme puanı” terimlerini neyi ifade ettiğini bilmekte fayda vardır. “Madde”, sınavdaki her bir soruya verilen isimdir. “Madde zorluğu, maddenin çeldiriciliği” gibi öbeklerde yer alır. “Kesme puanı” ise geçme/kalma sınırını ifade eden puandır. Ben bu yazıda bu kavramları kullanmayacağım ama literatürde sıkça karşılaşabileceğiniz için ifade etmekteyim. Ayrıca, “madde”nin yabancı dildeki literatürde “item” olarak, “kesme”nin ise “cut-off” olarak ifade edildiğini bilmeniz faydanıza olacaktır.-

Ölçme-değerlendirmede, öğrencinin sınavı başarıyla tamamlayıp tamamlayamadığına bakılır. İsteriz ki her öğrenci kendini öyle geliştirsin ki hepsi tam puan alsın. Ama bu, gerçeklerle uyuşmaz. Yüksek puanlar alanlar olacağı gibi düşük puanlar alacak olanlar da vardır. Dolayısıyla bu noktada bizim için önemli olan, geçme/kalma sınırının nereye konulacağıdır. 

Geleneksel bir yaklaşımla, “%70’in altında kalanlar geçemez” diyebilirsiniz ama böyle yaparsanız “neden %70” denildiği zaman insanlara sunabileceğiniz güçlü bir argüman bulamazsınız. Bu duruma düşmemek ve kararlarınızı savunabilmek için standart belirleme yöntemlerini bilmeniz ve uygulamanız gerekir.

Standart belirleme yöntemleri genelde çoktan seçmeli ve benzeri yazılı sınavlar için kullanılmıştır. Sonraları performans değerlendirme sınavları da ortaya çıkınca, onlar için de kullanılabilecek yöntemler geliştirilmiştir.

Belirlenecek olan geçme/kalma seviyesi yani standart, iki türlü olabilir: Mutlak (criterion-referenced) ve bağıl (norm-referenced). Bağıl standart, “çan eğrisi” olarak da bilinen yöntemle oluşturulur. 

Mutlak bir geçme/kalma notu yoktur; bu not, grubun başarısına göre oluşur. Bu tip standart, çok kötü bir grupta çok daha düşük puanlarla bile “geçme” hakkını elde etmeye, çok başarılı bir grupta az önce bahsettiğimiz grubun geçenlerinden daha yüksek bir puan alınmasına rağmen “kalma”ya neden olabilir. Mutlak standartta ise baştan belirlenen bir seviye vardır ve bu seviye grubun sınav başarısına göre değişmez.

Standartların bir diğer ayrımı, telafi edici (compensatory) ve birleşik (conjunctive) şeklinde yapılmaktadır. Bu kavramların anlaşılması için OSCE üzerinden örnek verebiliriz. Mesela bir OSCE’de öğrenci, öykü alma istasyonundan çok düşük puan almış olsun ama diğer istasyonlardan yüksek puanlar alsın. İstasyonların toplamından aldığı puan, belirlenen geçme seviyesinin üzerindeyse, telafi edici türde standardın uygulandığı bir OSCE’de bu öğrenci öykü alma konusunda başarısız olsa bile sınavdan başarılı olur. Ama birleşik standart uygulansa bu öğrencinin toplamda aldığı geçer not, sınavı geçmesi için yeterli olmazdı. Öykü alma istasyonundan da geçer not alması istenirdi.  

Telafi edici ve birleşik standarttan hangisinin seçileceğine karar vermede, soruların/istasyonların birbirleriyle içerik anlamında alaka düzeyi bize yardımcı olabilir. Eğer sorular birbirleriyle alakalıysa telafi edici standartlar, alakasızsa birleşik standartlar kullanılmaya daha uygundur. Dolayısıyla, aynı sınavda birbirleriyle alakalı sorular için telafi edici, alakasız sorular için birleşik standart uygulanabilir. Hangisinin kullanılacağına karar vermede, sınavın ne amaçla yapıldığı da etkilidir. Mesela biçimlendirici (formative) geri bildirim vermek için yapılan sınavlarda birleşik standart daha uygundur. 

Mutlak (Criterion-Referenced) Standart Belirleme Yöntemleri

Test Merkezli Yöntemler

Test merkezli yöntemler, geçmek için gerekli olan seviyeyi sınavdaki soruların incelenmesi sonucunda elde eder. Angoff, Ebel, Nedelsky ve Jaeger (Yes/No) yöntemleri test merkezlidir.

Angoff yöntemi, yaygın kullanılan bir modeldir. Bu yönteme göre uzmanlar, her bir soru için, geçme/kalma sınırında yer alan hayalî bir öğrenci topluluğunun yüzde kaçının o soruyu doğru cevaplayacağını tahmin eder. Uzmanların tahminlerinin ortalaması, sınavın geçme/kalma sınırını oluşturur.

Ebel’de sorular uygunluk ve zorluk başlıklarına göre kategorilere ayrılır ve uzmanlar bu soruların her biri için, geçme/kalma açısından tam sınırda yer aldığı düşünülen hayalî bir öğrenci topluluğunun yüzde kaçının doğru cevap vereceğini tahmin eder. Geçme/kalma seviyesi, uzmanların belirlediği doğru sayısı ile ortaya çıkar. Ebel’in bir avantajı, soruları uygunluk ve zorluğa göre sınıflandırılmasıdır.

Nedelsky yöntemi, çoktan seçmeli sorulardan oluşan sınavlar için oluşturulmuştur. Her bir soru uzmanlar tarafından incelenir ve ucu ucuna “geçer” not alacak seviyedeki bir öğrencinin çeldirici seçeneklerden hangilerini eleyebileceği tahmin edilir. Mesela 5 seçenekli bir soruyu inceleyen uzmanlar, bahsettiğimiz seviyedeki bir öğrencinin 2 yanlış seçeneği kolayca eleyebileceğini düşünmüş olsun. Dolayısıyla bu sorudaki geçme notu 1/3=0.33 puandır. Sınavdaki bir diğer soru için, bu öğrenci 3 seçeneği eleyebilir dediklerini varsayalım; bu durumda bu soru için geçme puanı 1/2=0.5 puan olurdu. Her bir soru için bu inceleme yapılır ve elde edilen puanlar toplanarak sınavdaki geçme notuna ulaşılır.

Jaeger (Yes/No) yönteminde ise uzmanlar her bir soruyu, yine tam geçme/kalma sınırındaki hayalî bir öğrencinin o soruyu doğru cevaplayıp cevaplayamayacağına göre değerlendirir. Uzmanlar, öğrencinin doğru yapacağını düşünüyorsa “evet/1”, yanlış yapacağını düşünüyorsa “hayır/0” cevabını verir. Verilen cevaplara göre geçme puanı elde edilir. Bu yöntem, özellikle OSCE gibi sınavların standartlarını belirlemede kullanılabilir.

Öğrenci Merkezli Yöntemler

Sınır-Grup yönteminde, hayalî öğrencilerin soruları cevaplama oranlarına değil, uzmanların tecrübelerine ve gözlemlerine göre geçme/kalma sınırında olan gerçek öğrencilerin aldıkları puanlara göre standart belirlenir. Bu öğrencilerin seçimi uzmanlar tarafından kişisel tecrübelerine göre yapılabileceği gibi, başka değerlendirme yöntemlerine göre de yapılabilir. Bu öğrencilerin, standardın belirleneceği sınavdan aldıkları puanların birbirlerine yakın şekilde olması yani kümelenmesi beklenir. Dağılım çok genişse bir sorun olduğu düşünülür.

Karşıt-Grup yönteminde öğrenciler, bu öğrencileri daha önceden gözlemlemiş olan uzmanlar tarafından “yeterli-yetersiz” olarak iki gruba ayrılır. Bu gruplardaki öğrencilerin sınavdan aldıkları puanlar grafiğe dökülür. Dağılım çizgilerinin kesiştiği nokta, geçme/kalma puanını ifade eder. İki grafik çizgisinin altında kalan kısımların üst üste geldiği alanın küçük olması istenir çünkü bu alanın miktarının artışı, ayırt ediciliğin azaldığını gösterir.

Mutlak standart belirleme yöntemlerinin yanında, bağıl standart belirleme yöntemleri olduğunu da söylemiştik. Bazı yöntemler ise hem mutlak hem bağıl standart belirleme yöntemlerini içerir. Hofstee yöntemi, buna bir örnektir. 

Hangi yöntem kullanılırsa kullanılsın, standart belirlemede yer alacak olan uzmanlar iyi seçilmelidir. Uzmanlar alanı bilmeli, yöntemlere aşina olmalı, problem çözme konusunda gelişmiş olmalı, sınava katılan öğrencileri tanıyor olmalı ve eğitici titrine sahip olmalıdır.

Bu içerik tamamen aşağıdaki kaynaklardan yararlanılarak, sizi o asıl kaynaklara başvurmaya teşvik etmek için oluşturulmuştur.

Kaynak

Ben-David MF (2000) AMEE Guide No. 18: Standard setting in student assessment. Medical Teacher, 22(2), 120–130. doi:10.1080/01421590078526

Demir O, Köse İ (2014) Angoff, Nedelsky ve Ebel Standart Belirleme Yöntemleri ile Belirlenen Kesme Puanlarının Karşılaştırılması. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 10(2). https://dergipark.org.tr/mersinefd/issue/17394/181823

Mıdık Ö, Karabilgin Ö (2011) Tıp Eğitiminde Öğrenci Değerlendirmelerinde Standart Belirleme: Sanal Bir Sınav Kurgusunda Geçme Kalma Sınırı. Tıp Eğitimi Dünyası, 29 (29), 21-33. http://dergipark.org.tr/ted/issue/21315/228699

Okuduğunuz bu yazıyı cihazınıza PDF olarak kaydetmek için şu bağlantıyı ziyaret edebilirsiniz: Değerlendirmede Standart Belirleme Yöntemleri - PDF