Tıp Eğitiminde Kullanılan Bazı Ölçme Değerlendirme Yöntemleri

Ölçme-değerlendirme, tıp eğitiminde önemli bir yere sahiptir. Çünkü mezun hekimlerin topluma vereceği sağlık hizmeti ve diğer görevleri bakımından yeterli olup olmadığını doğru tespit etmek, tıp fakültelerinin topluma yönelik sorumluluklarından biridir. Çıktı tabanlı eğitim, bu tespiti kolaylaştırma yolunda atılmış bir adımdır. Çıktı tabanlı eğitimde öğrencinin mezuniyette sahip olması gereken öğrenme çıktıları baştan belirlenmiştir ve ölçme-değerlendirme, bu çıktılara erişilip erişilmediğini belirlemek için yapılır. Dolayısıyla, kullanılacak ölçme-değerlendirme yöntemleri de bu çıktılara uygun bir yapıda olmalıdır. Bunun için de ölçme-değerlendirme yöntemlerinin kendine has özelliklerini bilmek gereklidir. 

Ölçme-değerlendirme yöntemleri denilince, yöntemin incelenmesi gereken 4 bileşeninden söz edebiliriz: Geçerlilik, güvenilirlik, öğrenciye etkisi ve kullanışlılık/maliyet.

Bir ölçme aracının geçerliliği, onun, ölçmek istediğimiz şeyi mi yoksa başka şeyi mi ölçtüğünün ifadesidir. Geçerliliğin türleri vardır; mesela kapsam geçerliliği, o sınavın ölçmek istediği içeriğin tamamını ölçüp ölçmediğine göre değişir. Güvenilirlik ise, o ölçme aracının aynı tür gruba (mesela dönem 3’ün sonuna gelmiş öğrencilere) farklı zaman ve yerlerde uygulanmasıyla elde edilen sonuçların tutarlılığına bağlıdır. Güvenilir bir sınav, her zaman aynı sonuçları verir.

Ölçme-değerlendirmenin öğrenciye ve öğrenmeye etkisi genellikle gözden kaçırılan bir konudur. Öğrenciler sınavın türüne, içeriğine, sıklığına göre çalışırlar. Mesela sınav büyük oranda, hatırlama düzeyinde bilgileri sınıyorsa öğrencilerin ezbere yönelmesi sürpriz olmaz. Dolayısıyla nasıl bir sınav yaptığınız, öğrenmenin nasıl ve ne sıklıkla oluşacağını etkiler. Kullanışlılık/maliyet de önemli bir konudur. Yüksek maliyet gerektiren, çok sayıda uzmana ihtiyaç duyuran, uygulaması zor olan ölçme araçları, sağladığı fayda eğer bu maliyetten fazla değilse tercih edilmezler.

Tıp Eğitiminde Kullanılan Bazı Ölçme-Değerlendirme Yöntemleri

Ölçme-değerlendirme yöntemleri 5 kategoriye ayrılarak gösterilebilir:

1. Yazılı sınavlar: Çoktan seçmeli, doğru-yanlış, eşleştirme, tamamlama, açık uçlu soru cevaplama, hasta yönetimi soruları, gelişim sınavı, tez.

2. Klinik/Pratik Sınavlar: Uzun vaka, OSCE (Objective Structured Clinical Examination), OSPE (Objective Structured Practical Examination), OSLER (Objective Structured Long Examination Record), GOSCE (Group OSCE).

3. Gözlem: Eğitici raporu, kontrol listesi, değerlendirme formu. (Ek Not: Mini-CEX, DOPS)

4. Performans Kaydı: Gelişim dosyası (portfolyo), karne (logbook).

5. Akran Değerlendirmesi ve Özdeğerlendirme

Yazılı Sınavlar

Tıp eğitiminde en yaygın kullanılan yöntem olduğu için tıp eğiticilerinin çoğu tarafından aşina olunan bir sınav türüdür. Bunların içinde de yaygın kullanılanı, standardize etmesi daha kolay olduğundan, çoktan seçmeli sorulardır. Çoktan seçmeli soruların hasta senaryoları içermesi, daha üst düzey becerileri ölçmeye yardımcı olur. 

Yazılı sınavlardan biri olan gelişim sınavı (progress test), mezuniyet öncesi tıp eğitiminin tamamını kapsayan ve çoktan seçmeli sorulardan oluşan bir sınavdır. Aynı sınava Dönem 1’den Dönem 6’ya bütün tıp öğrencileri aynı anda girerler. Bu sınavın soruları her defasında yeniden geniş bir soru bankasından seçilir ve sınavlar yılda bir ya da birkaç kez yapılır. Böylelikle öğrencilerin gelişimleri ortaya konulmuş olunur. Altı yılın tamamı gibi geniş bir kapsamı içerdiği için sınava yönelik çalışma mümkün değildir, öğrencilerin sırf hatırlama gibi alt düzey bir beceriyle öne çıkması engellenir.

Yazılı sınavların uygulaması kolaydır. Özellikle çoktan seçmeli sorularla yüksek güvenilirlik elde edilebilir. Çünkü bir eğiticinin kendi algıladığı şekilde notlandırmasına gerek duyulmaz. Ayrıca kullanışlılığı da vardır, çok sayıda öğrenciye bile kolaylıkla uygulanabilir. Bu olumlu yanlarına rağmen, sınırlılıkları da vardır. Yazılı sınavlarla bilgiyi derinlemesine ölçmek zordur, daha çok hatırlama düzeyinde bilgiler ölçülebilir. Ayrıca bilginin bağlamından koparılması ve ayrıksı bir parça olarak sınanması da olumsuz bir tarafıdır.

Yazılı sınavların, özellikle çoktan seçmeli olanların, öğrenciye etkisi “sınavı geçmek için çalışmaya yönlendirme” şeklindedir. Öğrenci, hasta bakımını daha iyi yapmak ve bilgiyi bütünleştirmek için değil, soruda sorulanı cevaplamak için çalışmaya eğilim duyabilir. Bu, çoktan seçmeli soruların doğurabileceği ciddi bir problemdir ve öğrenci böyle yaptığı için suçlanamaz. Değişmesi gereken sınavın kendisidir.

Klinik/Pratik Sınavlar

Klinik performansı ölçmek için kullanılan birincil yöntem OSCE’dir. OSCE’de klinik yeterliliklere odaklı çok sayıda istasyonda öğrenciler becerilerini sergilerler. Her öğrenci aynı istasyonlardan geçer. Sistem standardize edilmiştir. OSCE’nin türevi olan çok sayıda sınav vardır. Bunlardan OSPE, klinik değil pratik sınavdır. OSLER ise yapılandırılmış bir uzun vaka sınavıdır.

OSCE, klinik ortamdaki performansın yazılı sınavlarda etkili olarak ölçülememesi, gerçek klinik ortamları standardize etmenin ise zor olması nedeniyle ortaya çıkmıştır. Amaç, sınavın öğrenci, hasta ve değerlendirici bileşenlerinden hasta ve değerlendirici bileşenlerini birörnek hâle getirip sadece öğrencinin sonuca etki etmesini sağlamaktır. Bunun için OSCE’de genellikle standardize kullanılarak hasta bileşeni standardize edilir. Değerlendiriciler ise eğitilerek ve değerlendirme formları kullanılarak aynılaştırılır. Bütün bunlar, sınavın güvenilirliğini artırır. Ayrıca, standardize hasta kullanımı da gerçek hastaların güvenliğini riske etmemeyi sağlar.

OSCE’nin öğrenciye olumlu etkileri vardır. Yazılı sınavlardaki “sınav için çalışma” tehlikeliyken, OSCE’de sınav için çalışmanın sonucu zaten klinik yeterliliğe neden olur. Ancak OSCE’nin klinik yeterlilikleri istasyonlara bölmesi, bir bütün olan yeterliliklerin ayrıksı olarak algılanması gibi bir tehlikeye yol açabilir. Öğrencinin, ayrı ayrı istasyonlara çalışması sonucunda bu istasyonların tamamının oluşturduğu bütüncül yeterliliği elde edememesi ihtimali vardır.

OSCE, genellikle yazılı sınavlara göre daha maliyetlidir. Standardize hastaların bulunup eğitilmesi, çok sayıda değerlendirici gerektirmesi, istasyonlarda kullanılacak araç-gereçlerin oluşturacağı masraflar gibi maliyetleri vardır. Ama Miller piramidinin 3. basamağını ölçmesi bakımından değerlidir.

Gözlem

Klinik ortamda öğrencinin gözlemi, bir başka yöntemdir. Gözlem, bir değerlendirme formu ya da kontrol listesi ile yapılarak kaydedilir. Kayıt formunda değerlendiricinin yorumlarının da yer alması faydalıdır. Değerlendiricilerin eğitilmesiyle ve formların kullanılmasıyla bir nebze standardizasyon sağlansa da bu yöntemde güvenilirliğin sağlanması zordur. Dolayısıyla kullanışlılık bakımından olumsuz yanlara sahip bir yöntemdir. Sınavın öğrencilere etkisi bakımından değerlendirdiğimizde, öğrencilerin klinik ortamda eksikliklerini gizleyip iyi yanlarını öne çıkarması gibi bir tehlike olduğu görülür.

Performans Kaydı

Performansın kaydında gelişim dosyası (portfolyo) ve karne (logbook) kullanılabilir. Gelişim dosyası, öğrencinin öğrenme yolunda yapıp ettiklerine ve bunların hakkında kendi kendine yaptığı düşünsel faaliyete (reflection) dair kayıtları/belgeleri içeren bir dosyadır. İçinde her türden içerik bulunabilir.

Gelişim dosyasında, öğrencinin gelişim süreciyle ilgili kendi düşüncelerinin ve değerlendirmelerinin yer alması çok önemlidir ve gelişim dosyasını gelişim dosyası yapan esas nokta budur. Gelişim dosyasının, diğer araçlarla ölçülmesi zor olan eleştirel düşünce gibi becerileri ölçebilmesi onu değerli kılan bir özelliktir. Ayrıca, öğrencinin sadece anlık durumunu değil, uzun süreli süreci ele alabilmesi bakımından da değerlidir. Gelişim dosyası yönteminde güvenilirlik ve geçerliliği sağlamak ise çaba ister.

Karne, gelişim dosyasından daha dar bir kapsama sahiptir. Öğrencinin belirli bir alana özgü deneyimlerinin basit bir kaydını içerir ve bu yapıp edilenlerle ilgili kendi kendine düşünme (reflection) yer almaz. Karnede amaç, yapılacak uygulamaların hepsinin yeterli sayıda yapıldığının belgelenmesidir. Karne, o uygulamaların yapılmasındaki kaliteyi göstermez. Ölçme gücü düşük bir yöntemdir.

Akran Değerlendirmesi ve Özdeğerlendirme

Öğrencinin akranlarından ya da kendisinden, bir becerinin gerçekleştirilip gerçekleştirilemediğine dair alacağımız bilgiler değerlendirme bağlamında oldukça faydalı olabilir. Bu yapılırken kontrol listesi ya da değerlendirme formu kullanılabilir. Öğrenciler, akranlarıyla klinik ortamda çokça vakit geçirdiğinden, bu vakitlerin yeterliliği ölçme açısından değerlendirilmesi akıllıca olacaktır. 

Öğrencinin kendini değerlendirebilmesi de ayrıca değerlidir. Ancak her ikisi de iyi uygulanmadığında güven kaybı, akranlarla düşman hâle gelme gibi sorunlara yol açabilir. Güvenilirliği ve geçerliliği sağlamak için çaba gerektirdiğinden kullanışlılık/maliyet açısından yük oluşturur.

Bu içerik tamamen aşağıdaki kaynaktan yararlanılarak, sizi o asıl kaynağa başvurmaya teşvik etmek için oluşturulmuştur.

Kaynak

Shumway JM, Harden RM (2003) AMEE Guide No. 25: The assessment of learning outcomes for the competent and reflective physician. Medical Teacher, 25:6, 569-584. DOI: 10.1080/0142159032000151907

Okuduğunuz bu yazıyı cihazınıza PDF olarak kaydetmek için şu bağlantıyı ziyaret edebilirsiniz:
Tıp Eğitiminde Kullanılan Bazı Ölçme Değerlendirme Yöntemleri

OSCE Yazı Dizisi-4 | OSCE’nin Uygulanması ve Değerlendirme

OSCE Yazı Dizisinin önceki 3 bölümünde;

1. OSCE Öncesinde Performans Değerlendirmesi İçin Kullanılan Yöntemler
2. OSCE’nin Temel Özellikleri
3. OSCE’nin Hazırlanması

konuları ele alınmıştı. 

Bu yazı, OSCE’nin uygulanması ve sınav sonrasındaki değerlendirmeler üzerine olacak.

Yönetsel Görevler

Her sınavın kendine has yönetsel görevler gerektirir, bu bakımdan OSCE’nin oluşturduğu yükün az olduğunu söylemek zordur. Öğrencilerin sınav yerlerinin paylaştırılması, herhangi bir engeli olan öğrencilere uygun fırsatın sağlanması, sınav talimatlarının sınav yerine ulaştırılıp dağıtılması, istasyon bilgilerinin, öğrenci listelerinin, notlandırma kâğıtlarının basılıp yerlerine ulaştırılması, formlara öğrencilerin isimlerinin yazılı olarak gelmesi sağlanarak zaman kaybının azaltılması, standardize hastaların ve değerlendiricilerin organize edilmesi, fazladan standardize hastaların ve değerlendiricilerin de hazırda tutulması gibi yönetsel görevler mevcuttur.

OSCE’nin oluşturduğu bu yük, sınavın sorunsuz ilerlemesi için gereklidir. Yapılması gereken her şey bir rehber hâline getirilirse, ileri zamanlardaki yöneticiler için faydalı olacaktır.

OSCE İçin Yer Seçilmesi

OSCE’nin yapılacağı yer, istasyon ve öğrenci sayısı akılda tutularak seçilmelidir. Öğrenciler, değerlendiriciler ve standardize hastalar için bekleme odaları da olmalıdır. Aynı zamanda, sınava başlamadan önce öğrencilerin bilgilendirileceği ön bilgilendirme (briefing) odası/odaları gerekir. Ayrıca, sınavı biten öğrencilerin dışarıyla temasını engelleyen bir yere de ihtiyaç vardır.

Dolaşımın Ayarlanması ve Araç-Gereçler

Öğrencilerin istasyonları dolaşımı iyi ayarlanmalıdır. Her öğrencinin her istasyona mutlaka gireceği bir düzen oluşturulmalıdır. Mesela dinlenme istasyonu, en başta veya en sonda olmamalıdır. Sınav başlamadan önce öğrencilere dinlenme istasyonlarının da olduğu, yerleriyle birlikte iyice anlatılmalıdır. Dinlenme istasyonları diğer istasyonlardan bağımsız ya da korunaklı bir yere konulmalı, öğrencilerin diğer istasyonu dinleyerek önceden bilgi alması engellenmelidir. 

Dolaşımın yönetimi zille yapılabilir. Ama sesli komutları içeren otomatik bir sistem daha kolaylık sağlar. Bu sistemde öğrenciler istasyonların kapısının önündeyken “hazırlanmaya başla” komutu gelir ve bunun üzerine öğrenciler o istasyonla ilgili bilgiyi okur. 1 dakika sonra “istasyona gir” komutu gelir ve öğrenciler içeri girerler. O istasyonun süresinin bitmesine 1 dakika kala süre uyarısı yapılır. 1 dakika sonra ise sürenin bittiği ve diğer istasyon için harekete geçmesi komutu gelir. Bu sistem, sınav bitene kadar aynı şekilde devam eder. Sistemdeki herhangi bir arıza ihtimaline karşın zil de hazır bulundurulur. Ayrıca, komutlar hangi yöntemle verilirse verilsin, öğrencilerin doğru istasyonlara girdiklerinden emin olmak için yeterli sayıda personel de yönlendirme yapmalıdır.

İstasyonun içerdiği görevlere uygun araç-gereçler sağlanmalıdır. Bu araç gereçlerin çalışıp çalışmadığı, şarjlarının yeterli olup olmadığı kontrol edilmelidir. Çalıştırılması karmaşık olan cihazları (simülatör gibi) bilen personel hazır bulundurulmalıdır çünkü değerlendiriciler veya öğrenciler nasıl çalıştırıldığını bilmeyebilir. Bunun yanında, mesela bir şeyler yazmayı gerektiren görevlerin olduğu istasyon için masa ve sandalye temin edilmelidir. Fundoskopi yapılacaksa ortamın karanlık olması sağlanmalı, oskültasyon gerekiyorsa sessiz bir ortam oluşturulmalıdır. Oskültasyon için steteskop gerekiyorsa, öğrenciler gelirken yanlarında steteskoplarını getirmeleri konusunda bilgilendirilmelidir. 

Sınav günü yapılan bilgilendirme, hem öğrencilere (kurallar, başlayış ve bitiş, dinlenme istasyonları) hem değerlendiricilere (sınavın amacı, öğrencilerin kimliğinin kontrol edilmesi, notlandırma kâğıtları, öğrenciyle istasyonun gerektirdiği kadar iletişime geçilmesi, öğrencilere eşit davranılması) hem de standardize hastalara yapılmalıdır. 

Değerlendirme

OSCE uygulandıktan sonra elde edilen sonuçlar, herhangi bir yanlışlık olmaması için tekrar kontrol edilir. Gerekirse değerlendiricilere ulaşılarak sorunlu durumlar çözüme kavuşturulur. Sonuçlardan emin olunduktan sonra notlar öğrencilere duyurulur. Sonrasında sınava yönelik itirazlar kabul edilir.

Sınavın kalite güvencesi, her sınav tekrar eden bir döngü hâlinde süreklilik arz eder. Çok sayıda faktörden etkilenir ve bunlardan biri de değerlendirmedir. Kalitenin sağlanması için, sınavı değerlendirmek üzere dış değerlendiriciler davet edilebilir. 

Sınav sonuçları kullanılarak psikometrik analiz de yapılmalıdır. Bu analiz sonucunda, Cronbach α değerinin 0.7-0.8 aralığında bulunması kabul edilebilirdir ancak Birleşik Krallık’taki rehberlerin önerdiği, eğer kaliteli bir sınav yapılmak isteniyorsa güvenilirlik katsayısı için sınır değerin 0.9 olmasıdır. Değerlendiricilerden ve öğrencilerden geri bildirim alınması da sınavın kalitesini artırmak için faydalı veriler sunar.

-OSCE Yazı Dizisi bu yazıyla sona ermiştir-

Bu içerik tamamen aşağıdaki kaynaktan yararlanılarak, sizi o asıl kaynağa başvurmaya teşvik etmek için oluşturulmuştur.

Kaynak

Khan KZ, Ramachandran S, Gaunt K, Pushkar P (2013) The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part II: Organisation & Administration. Medical Teacher, 35:9, e1447-e1463. DOI:10.3109/0142159X.2013.818635

Okuduğunuz bu yazıyı cihazınıza PDF olarak kaydetmek için şu bağlantıyı ziyaret edebilirsiniz: OSCE Yazı Dizisi-4 | OSCE’nin Uygulanması ve Değerlendirme

OSCE Yazı Dizisi-3 | OSCE’nin Hazırlanması

OSCE Yazı Dizisinin önceki 2 bölümünde;

1. OSCE Öncesinde Performans Değerlendirmesi İçin Kullanılan Yöntemler

2. OSCE’nin Temel Özellikleri

konuları ele alınmıştı. Bu yazı, OSCE öncesi hazırlık sürecini anlatacak.

Organizasyon Yapma

OSCE’yi başarıyla hazırlayıp uygulamak emek ister, bu nedenle süreç boyunca çok sayıda kişinin katılımına gerek duyulur. İşin içinde çok sayıda kişi olunca, onları yönlendiren bir koordinatör belirlenmesi uygun olacaktır. Bu kişinin OSCE konusunda teorik ve pratik anlamda bilgi sahibi olması gereklidir çünkü sorumluluk ve hesap verilebilirlik direkt bu kişiyle ilgili konulardır.

Bir fakültenin bütün ölçme-değerlendirmeyi OSCE üzerinden yapması düşünülemez. Dolayısıyla farklı ölçme araçları da programda mevcut olacaktır. OSCE’nin ne zaman yapılacağını gösteren takvim baştan düzenlenmelidir.

Plan (Blueprint) Hazırlama

Sınavın içeriğinde nelerin olacağını ve ne kadar uzunlukta kaç istasyondan olacağını belirleyen bir plan (blueprint) hazırlamak önemlidir. Bu planda, fakültenin öğretim programında yer alan yeterlilikler dikkate alınmalıdır. Sınav, OSCE ile ölçülmesi istenen yeterliliklerin tamamını kapsamalı, yani kapsam geçerliliğine önem verilmelidir. 

Bunu yapmak için iki boyutlu bir Belirtke Tablosu kullanılabilir. Tablonun yatay düzlemine sınanacak yeterlilikler (öykü alma, iletişim becerileri, fizik muayene, tedavi vs.), düşey düzlemine ise konu alanları yazılıp tablonun içine bunlarla eşleşen sorular yerleştirilir. Toplam soru sayısı, hangi konunun veya yeterliliğin kaç soruyla sınandığı, dahil edilmemiş bir yeterlilik olup olmadığı gözler önüne serilmiş olur. Bu plan, OSCE’den sorumlu ekip tarafından yapılabilir ama yüksek kaliteli bir OSCE için çeşitli uzmanlara Delphi tekniği ile danışılması daha uygundur.

İstasyon Sayısını ve Süreyi Belirleme

Planda, sınavın kaç istasyondan oluşacağı da belirlenir. Genelde bir OSCE sınavı için önerilen, toplam istasyon sayısının 14-18 adet olmasıdır. Bu istasyonların her biri için öğrencilere verilen süre genelde 5-10 dakikadır. İstasyon sayısı ve verilecek toplam süre, güvenilirlik ve geçerlilik gibi bizim için çok önemli iki parametreyi doğrudan etkiler. Sürenin optimum miktarda olması, istasyon sayısının fazla olması sınavın bu anlamdaki kalitesini artırır. Çünkü sınırlı sayıda vakayla değil, çok sayıda farklı vakayla yapılan sınavın güvenilirliği ve geçerliliği yüksek olur.

Soru/İstasyon Bankası Oluşturma

Henüz OSCE için hiç istasyon oluşturulmamış bir fakültede, istasyon oluşturmak için başlangıç noktası olarak seçilecek esas malzeme, daha önce hazırlanmış olan plandır (blueprint). İstasyonların içeriğini yazacak kişilerin belirlendikten sonra bu kişiler plandan yola çıkarak istasyon oluştururlar. Bu kişileri, koordinatör seçer. Seçilen kişilerin OSCE’nin ne olduğunu ve amaçlarını bilmesi elzemdir. Bilmeyenler için çeşitli bilgilendirmelerde bulunulabilir.

Çok çeşitli istasyon türleri vardır. Bunlar; bir gözlemci gerektiren istasyonlar, gözlemci gerektirmeyen istasyonlar, teknoloji destekli istasyonlar, birbirine bağımlı istasyonlar olarak ifade edilebilir. Bu istasyonların yapısı, olumlu yanları, sınırlılıkları, fakültenin amaçlarıyla ne kadar örtüştüğü bilinmelidir. Uygun tür ya da türler seçildikten sonra bir şablon hazırlanmalıdır. Şablonda, istasyon için gerekli olan her madde belirtilmelidir. İstasyon yazarları bu şablonu doldururlar ve böylece standardizasyon sağlanır. İçerikleri farklı olsa da her istasyon aynı biçimsel özelliklere sahip olmuş olur ve bir istasyon için gerekli her ne varsa gözden kaçırılmadan baştan belirlenir.

İstasyonlar yazıldıktan sonra, bu istasyonlardan alınacak puanlar da belirlenir. Bunun için değerlendirme rubriği veya ölçeği oluşturulmalıdır. Çeşitli değerlendirme rubrikleri ve ölçekleri mevcuttur. Rubrik oluşturma hakkında daha ayrıntılı bilgi, dizinin ilerleyen serilerinde yer alacaktır.

Yeni oluşturulmuş istasyonların diğer yazarlarla beraber küçük grup çalışması şeklinde değerlendirilmesi ve üzerinde düzenlemeler yapılması, istasyonun kalitesini artırmak adına faydalıdır. 

Yazım ve diğer yazarlarla değerlendirme bittikten sonra pilot uygulama yapılır. Burada, uygulamadaki aksaklıklar, istasyonların iyi çalışıp çalışmadığı görülür ve gerekli düzenlemeler yapılır. Bunun yanında, yeni istasyonlar geliştirildikçe psikometrik analizler de yapılmalıdır.

Rubrik Oluşturma ve Standart Belirleme

Puanlama rubriği, bir görevin icra edilmesi sırasında beklenenleri içeren değerlendirme aracı olarak tanımlanır. Çeşitli türleri vardır ama iki ana tipi, “analitik” ve “bütüncül” tiptir.

Analitik rubrik, kontrol listesi türündedir. İstasyonda öğrenciden beklenenlerin bir listesidir. Değerlendirilen içeriği ve çıktıları yansıtacak şekilde hazırlanır. Kontrol listesindeki her bir madde yaptı/yapmadı veya evet/hayır gibi ikili seçeneklerle değerlendirilebilir ama bu, performansın kalitesi hakkında bilgi vermez. Bu yüzden 5’li ya da 7’li tip ölçek kullanılabilir. Fakat çoklu seçeneklerin yer alması da değerlendiricilerin kişisel kanaatlerinin ön plana çıkmasına neden olarak güvenilirliğe zarar verebilir. OSCE’nin geliştiricisi olan Harden, ikili seçenek kullanmıştır.

Bütüncül rubrikte ise yapılması gerekenlerin ayrı ayrı değerlendirilmesi yerine toplamı birlikte değerlendirilir. Zaten uzman birinin bir görevi yerine getirmesi düşünüldüğünde bunun basamak basamak değil de akıcı bir bütün olarak meydana geldiği görülür. Bu tür rubriklerin, istasyonlar arası güvenilirliği sağlamada ve daha iyi bir yapı geçerliliği oluşturmada,  kontrol listesi yaklaşımından daha iyi sonuç verdiğine dair kanıtlar vardır. Belirtmek gerekir ki bütüncül yaklaşım, diğer becerilerin yanında özellikle iletişim becerilerinin değerlendirilmesinde kullanılmaya uygun bir yaklaşımdır. 

Standart belirleme, geçme/kalma kararının verilmesinde önemli bir rol oynar. “Çan eğrisi” olarak bilinen bağıl (norm-referenced) değerlendirme, öğrenci grubunun genelinin düşük not aldığı bir durumda performansı kötü olan öğrencilerin bile geçer not almış olmasına neden olabilir. Bu da öğrencilerin, sahadaki gereklilikleri karşılayamayacak türden hekimler olmalarına neden olur.

Bağıl değerlendirme yerine mutlak (criterion-referenced) değerlendirme kullanılmalıdır. Bu yaklaşımla, bir not seviyesi belirlenir ve o seviyeyi geçemeyenler sınavdan geçemez. Geçme/kalma sınırını belirlemek için çeşitli yöntemler vardır. O yöntemlerden yaygın kullanılan bir tanesi Angoff’tur. Ancak bu yöntem daha çok, çoktan seçmeli sorular içeren sınavlara uygundur. OSCE’de Sınır Grup ve Karşıt Grup yöntemleri kullanılabilir.

Değerlendirici Havuzu Oluşturma

Değerlendiriciler, notlandırmada baş rol oynarlar. Bu yüzden o kişileri seçmek ve eğitmek, sınavın güvenilirliği açısından önemlidir. Doktorların öğrencileri değerlendirmesi alışılageldik bir durumdur ancak sınav için yeterli sayıda doktor bulmak zordur. Bu yüzden, değerlendirici olarak kullanmak üzere doktor olmayan kişiler de seçilebilir. Simüle hastaların bu konuda doktorlarınkiyle iyi korelasyon içeren sonuçlar verdiği görülmüştür. Doktor olmayan kişilerin değerlendirmeleri, kontrol listesi kullanıldığında güvenilirliği sağlayabilirken bütüncül değerlendirmede çok iyi sonuçlar vermemektedir. Değerlendirici ister doktor olsun ister olmasın, OSCE’deki değerlendirici rolü için eğitim alması gerekir.

Değerlendirici eğitiminin seviyesi, bu eğitime katılanların bilgi ve birikimine göre ayarlanmalıdır. Eğitimde OSCE’nin amaç ve hedefleri, standardizasyonun sağlanması için rubriklerin nasıl kullanılacağı, yazılı ve sözlü geri bildirimin nasıl verileceği, öğrenci notlarının gizliliğinin nasıl sağlanacağı gibi konular ele alınır. OSCE’de kullanılan yöntemler değiştikçe, daha önceden eğitim almış kişilerin yeniden eğitim alması gerekebilir.

Simüle/Standardize Hastaların Eğitimi

OSCE simüle ve standardize hastaların aktif katılımını gerektiren bir sınavdır. Çünkü mesela iletişim becerilerinin değerlendirileceği öykü alma, hasta olmadan gerçekleştirilemez. OSCE’de gerçek hastalar da kullanılabilir ama ister simüle hasta olsun ister gerçek hasta olsun OSCE’de yer almaları için eğitim almaları gerekir. Klinik durumları öğrencilere hep aynı şekilde sunabilmeleri önemlidir. Konu hakkında daha ayrıntılı bilgi için Simüle Hasta / Standardize Hasta başlıklı yazıyı okuyabilirsiniz.

Bir sonraki yazı: OSCE Yazı Dizisi-4 | OSCE’nin Uygulanması ve Değerlendirme

Bu içerik tamamen aşağıdaki kaynaktan yararlanılarak, sizi o asıl kaynağa başvurmaya teşvik etmek için oluşturulmuştur.

Kaynak

Khan KZ, Ramachandran S, Gaunt K, Pushkar P (2013) The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part II: Organisation & Administration. Medical Teacher, 35:9, e1447-e1463. DOI:10.3109/0142159X.2013.818635

Okuduğunuz bu yazıyı cihazınıza PDF olarak kaydetmek için şu bağlantıyı ziyaret edebilirsiniz: OSCE Yazı Dizisi-3 | OSCE’nin Hazırlanması