CanMEDS, ACGME, RIME ve Dreyfus: Tıp Eğitiminde Kullanılan Yeterlilik Çerçeveleri

Klinik bir alanda uzman olduğunuzu düşünün. Göreviniz, staj için gelen öğrencilerin ve uzmanlık eğitimi alan asistanların değerlendirmesini yapmak olsun. Belki de düşünceniz, “her öğrenci elinden gelenin en iyisini samimiyetle yapmaya çalışıyor işte” şeklinde olacak ve herkese “geçer not” vermek isteyeceksiniz ama değerlendirme bu kadar kolay mı sizce? 

Tabii ki değil. “Ellerinden geleni yapıyorlar” deyip geçilmesi mümkün olmayacak kadar da zor. İşte bu zorluğu aşmak için de bazı yeterlilik çerçeveleri geliştirilmiştir.

Yeterlilik çerçeveleri, çıktıya dayalı eğitime (outcome-based education) olan eğilimin sonucunda meydana gelmeye başlamıştır. Yeterlilik çerçevelerinin kökenine gidildiğinde karşımıza ünlü eğitimbilimci Ralph Tyler çıkar (ki kendisinin program geliştirme modeli de vardır). Tyler’ın 1949’da sorduğu şu dört sorunun ilki ve sonuncusu, yeterlilik çerçeveleri bakımından bir yönlendirici olmuştur:

1. Bir okulun varmak istediği eğitimsel amaçlar nelerdir?
2. Bu amaçlara varmak için ne gibi eğitim faaliyetleri gerçekleştirilebilir?
3. Bu faaliyetler nasıl düzenlenebilir?
4. Amaçlara ulaşılıp ulaşılmadığına nasıl karar verebiliriz?

Yeterlilik çerçeveleri, değerlendirmede bir öğrencinin sahip olması gereken özellikler bakımından nelerin önemli olduğunu ve nelere bakılması gerektiğini söyler. Yani öğrencinin öğrenmesi gerekenleri ifade eder. İfade ederken oldukça ayrıntılı da olabilir, genel ifadeler de kullanabilir. Bu farklılık, çerçevenin kullanışlılığını etkiler.

Miller Piramidi

Miller piramidi, George Miller tarafından geliştirilmiş basit bir yeterlilik çerçevesidir. Basit olduğu için de kullanışlıdır.

“Miller piramidinde aşağıdan yukarıya doğru sırasıyla “bilir, nasıl olduğunu bilir, nasıl olduğunu gösterir, yapar” olmak üzere 4 adet evre vardır ve yukarı evrelere gidildikçe ustalık seviyesi artar.

Miller piramidinin en alt evresinde bilgi seviyesinde bir ustalık vardır. Kişi bu evrede, uygulayacağı becerinin gerektirdiği bilgiyi bilir. Bu evrenin ölçümü en iyi yazılı sınavlarla yapılır çünkü tamamen bilişsel alanla ilgilidir.

Piramidin ikinci evresinde bilginin uygulanması vardır. Kişi bu evrede, önceki evrede sahip olduğu bilginin nasıl uygulandığını bilir. Mesela, sahip olunan bilgilerden yola çıkarak bir hastanın tanısının nasıl konulacağını bilir. Bu da sadece bilişsel süreçlerle ilgili olduğu için, yeterliliğe ulaşılıp ulaşılamadığının ölçümü yazılı sınavlarla yapılabilir.

Üçüncü seviyede “nasıl yapıldığını gösterir” vardır. Bu evrede beklenen, yapay bir ortamda uygun becerileri gerçekleştirebilmektir. “Yapay ortam” derken, yeterliliğin mesela fizik muayene becerisinin ölçülmesi için oluşturulmuş, gerçek meslekî hayatın içinde olmayan sınav ortamı kastedilmektedir. Kişiden bu evrede beklenen, sadece bilişsel süreçleri gerçekleştirmesi değil, duruma uygun şekilde eyleme geçebilmesidir. Örnek olarak, bir simüle hastanın fizik muayenesini yaptıktan sonra tanısını koymak verilebilir.

Piramidin en üstü olan dördüncü yani son seviyede, bir önceki evrede yapılanların günlük pratiğin karmaşasında kimseden yardım almadan yapılması vardır. Yani kişinin esas performansı günlük meslekî uğraşlarda ortaya çıkar. Çünkü gerçek hayat, yapay sınav ortamının aksine; bilginin, tutumun ve becerinin mutlaka birlikte işe koşulmasını gerektirir. Sadece tıbbi bilgi yetmez; hastayla doğru iletişim kurmak, hemşire ve diğer personelin liderliğini yapmak gibi çeşitli konuların üstesinden gelmek gerekir. Bütün bunların başarıyla yerine getirilmesi, yeterliliğin göstergesidir.” (Kaynak: http://tipegitimivebilisimi.blogspot.com/2018/12/tp-egitiminde-portfolyo-gelisim-dosyas.html)

Miller piramidinden bahsetmişken Bloom taksonomisini de unutmamak gerekir. Bloom taksonomisi, özellikle öğrenim hedefleri yazımında büyük öneme sahip olduğundan ve ayrı bir yazıyı gerektirecek hacme sahip olduğundan, başka bir yazıda ele alınacaktır.

CanMEDS

Canadian Medical Education Directions for Specialists (CanMEDS) uzmanlık eğitimi için geliştirilmiş olsa da mezuniyet öncesi eğitim için de kullanılmaktadır. CanMEDS, bir hekimin 7 rolünü sıralar:

1. Tıbbi Uzman (Medical Expert): Yeterliliklerin merkezinde bu madde vardır.
2. İletişimci (Communicator): Bir hekimin hastayla iyi iletişim kurabilmesi şarttır.
3. İşbirlikçi (Collaborator): Hekim, tek başına çalışmaz. Çok sayıda kişiyle işbirliği içinde çalışır.
4. Yönetici (Manager): Sağlıkla ilgili kaynakların nasıl yönlendirileceği kararında hekim önemli bir yere sahiptir.
5. Sağlık Savunucusu (Health Advocate): Sağlıkla ilgili karar alma mekanizmalarında hekimin önemli bir etkisi vardır.
6. Bilim İnsanı (Scholar): Hekim sadece hasta bakmaz, bilim de yapar.
7. Profesyonel (Professional): Hekim, profesyonelizme bağlıdır.

CanMEDS sadece bu 7 rolü saymakla kalmaz. Bu rollere bağlı alt yeterlilikler de tanımlar. CanMEDS’te 7 role bağlı olarak toplam 134 bileşen, 28 anahtar yeterlilik ve 125 imkân sağlayıcı yeterlilikten bahsedilmiştir. Mesela yönetici rolünün 21 bileşeni vardır. Bu kadar çok başlığın bulunması, CanMEDS’e yeterliliklerin sahip olduğu geniş kapsamı neredeyse tamamen tasvir etmek gibi önemli bir özellik kazandırmıştır. Ama bu durum aynı zamanda olumsuz bir özelliktir, çünkü basitliği ve dolayısıyla kullanışlılığı azalmıştır. CanMEDS’teki bütün içeriği kavramak için özel bir çaba gerekir. 

ACGME

Accreditation Council for Graduate Medical Education (ACGME) ABD’de mezuniyet sonrası tıp eğitimi için geliştirilmiş olsa da tıpkı CanMEDS gibi mezuniyet öncesi tıp eğitiminde de kullanılmaktadır. ACGME, 6 yeterlilikten bahseder:

1. Hasta bakımı (Patient Care)
2. Tıbbi bilgi (Medical Knowledge)
3. Pratiğe dayalı öğrenme ve gelişim (Practice-based Learning and Improvement)
4. İletişim Becerileri (Interpersonal and Communication Skills)
5. Profesyonelizm (Professionalism)
6. Sistemle uyumlu çalışma (System-based Practice)

RIME

Bir başka çerçevedir, ACGME VE CanMEDS’ten farklı bir yapıya sahiptir.

1. Aktarıcı (Reporter)
2. Yorumlayıcı (Interpreter)
3. Yönetici (Manager)
4. Eğitici (Educator)

Dreyfus ve Dreyfus’un Gelişimsel Çerçevesi

1. Acemi (Novice)
2. Gelişmiş acemi (Advanced Beginner)
3. Yeterli (Competent)
4. Becerikli (Proficient)
5. Uzman (Expert)

Yeterlilik çerçeveleri; yeterliliğin özelliklerini tarif eden “analitik çerçeveler”, yeterlilikleri birleşik olarak ele alan “sentetik çerçeveler” ve gelişim sürecine odaklanan “gelişimsel çerçeveler” olarak sınıflandırılabilir.

CanMEDS ve ACGME çerçeveleri, analitik çerçeveler kapsamındadır. Çünkü yeterlilikleri bazı temel alanlara bölerek o alanların özelliklerini tasvir eder. Bu alanlarla ilgili yeterliliklerin kazanılıp kazanılmadığını anlamak için öğrenci gözlenir. Gözlem sonucunda öğrencinin hangi alanlarda yeterliliğe ulaştığına dair karar verilir. Dikkat edilirse, öğrenci bu alanlardaki becerilerini gözlem altında yapar. Oysa gerçekte, meslek hayatında, öğrenci bu becerileri gözlem altında olmadan ve sorumluluğu tam anlamıyla üzerine alarak yapar. 

Mesela torasentez yapmayı CanMEDS  / ACGME çerçeveleri bağlamında ele alalım:

Göğüs duvarının anatomisini bilmek: Tıbbi uzman / Tıbbi bilgi
İğneyi ve trokarı kullanma becerisi: Tıbbi uzman / Hasta bakımı
Aydınlatılmış onam alma: İletişimci / İletişim becerisi
Pnömötoraks’ı tespit için özenle takip etmek: Profesyonel / Profesyonellik
Radyologlarla birlikte çalışmak: İşbirlikçi / Sistemle uyumlu çalışma

Görüldüğü üzere torasentez yapmak. CanMEDS ve ACGME’deki başlıkların birden fazlasının kombinasyonundan oluşur.  Dolayısıyla, analitik çerçevelerdeki yeterliliklerin her birinin ayrı ayrı edinilmesi, her birinin uygun düzeyde kullanılabileceği anlamına gelmemektedir.

İşte sentetik çerçeveler, bu durumu dikkate alarak yeterliliği, analitik çerçevelerdeki birden fazla alandan beslenen becerilerin, bu alanların uygun dozda ve kombinasyonda kullanarak gözlem altında olmadan yerine getirilip getirilemediğine odaklanır.

Mesela RIME, sentetik bir çerçevedir. Öğrencinin hastadan bilgileri alıp bunları başka birine aktarabilmesi (Reporter), bu bilgileri yorumlayıp bir sonuca varabilmesi (Interpreter), vardığı sonuçlardan hareketle uygulamaya geçip durumu yönetebilmesi (Manager), RIME çerçevesinden bakıldığında görünen süreçlerdir. Oysa mesela sağlık savunuculuğu soyut bir kavram olup çok sayıda bileşeni vardır. Bir öğrenci, sağlık savunuculuğuyla alakalı bir beceride yorumlayıcılık (doğru sonuca ulaşabilme) yapabilirken uygulayıcılığında (manager) yetersiz olabilir. Öğrenci RIME çerçevesinden değerlendirildiğinde, günlük mesleki hayatta sağlık savunuculuğu adına gerçekleştirilen beceriler üzerinden değerlendirilir. Bu, Miller piramidinin en üst seviyesinin değerlendirilmesidir.  Sentetik çerçevelerle alakalı olarak, Devredilebilir Meslekî Beceriler (Entrustable Professional Activities) konusuna da göz atılmasında fayda olduğunu belirtmek gerekir.

Dreyfus ve Dreyfus’un Gelişimsel Çerçevesi, analitik veya sentetik sınıfta değildir, gelişimsel çerçeveler sınıfına girer. Gelişimsel çerçevelerde, gelişim süreci evrelere bölünmüş halde bulunur. Platon’a göre psikolojik gelişim, yüzeysel bir farkındalık seviyesinden kurtulup gerçek anlamları ve yüzeysel görünüşün altında yatan nedenleri bilen bir yapıya gitme sürecidir. Bu, hastanın şikâyetlerinden ve bulgularından (yüzeyselden) tanıya (gerçek anlam) gitmeye benzer. Dreyfus’ta da bu süreç, çaylaktan uzmana doğru gider. Ortada “yeterli” vardır ve bir eşiği ifade eder; o beceriyi bağımsız olarak gerçekleştirebilme eşiğidir. 

Çerçeveler analitik, sentetik ve gelişimsel sınıflarından birine dâhil edilmiş olsa da her çerçevenin diğer sınıflara benzer özellikleri de mevcuttur. Mesela CanMEDS çerçevesini oluşturanlar, çerçeveyi görselleştirirken merkeze tıbbi uzmanlığı koymuşlar, çevreye ise diğer rolleri yerleştirmişlerdir. Bu durum, diğer rollerden beslenen bir tıbbi uzmanlığı sentezlediği için, çerçevenin sentetik bir tarafı olduğu da söylenebilir. Aynı şekilde, sentetik bir çerçeve olan RIME çerçevesinin de gelişimsel özellik taşıyan boyutları vardır. 

Bütün bunlara ek olarak belirtmek gerekir ki, çerçeveleri birbirleriyle yarıştırmak da anlamsızdır. Her biri farklı açılardan işlevseldir. Mesela düzey belirleyici (summative) değerlendirme için CanMEDS, ACGME ve RIME kullanılabilirken, biçimlendirici (formative) değerlendirme için gelişimsel bir çerçeve olan Dreyfus kullanılabilir. Yani her durumda kullanılabilir mükemmel çerçeve diye bir şeyden bahsetmek mümkün değildir.

Bu içerik tamamen aşağıdaki kaynaktan yararlanılarak, sizi o asıl kaynağa başvurmaya teşvik etmek için oluşturulmuştur.

Kaynak

Pangaro L, Ten Cate O (2013) Frameworks for learner assessment in medicine: AMEE Guide No. 78. Medical Teacher, 2013; 35: e1197–e1210. DOI: 10.3109/0142159X.2013.788789

Okuduğunuz bu yazıyı cihazınıza PDF olarak kaydetmek için şu bağlantıyı ziyaret edebilirsiniz:
CanMEDS, ACGME, RIME ve Dreyfus: Tıp Eğitiminde Kullanılan Yeterlilik Çerçeveleri - PDF

Stufflebeam'den CIPP ve Kirkpatrick: Program Değerlendirme Modelleri

Bu yazıyı okumadan önce "İndirgemecilik, Sistem Kuramı ve Karmaşıklık Kuramı: Program Değerlendirme Bağlamında Kuramlar" adlı yazıyı okumanız tavsiye olunur.

Program değerlendirme, tıp eğitimi programlarını yönetenler için önemli bir sorumluluktur. Programın karşılığı, bire birde verilen ders kadar küçük olabileceği gibi, büyük bir tıp fakültesinin programı kadar büyük de olabilir. Ayrıca mezuniyet öncesiyle, mezuniyet sonrasıyla, sürekli mesleksel gelişimle alakalı bir programın değerlendirmesi de olabilir.

 

Program değerlendirme nedir?

Program değerlendirme süreci; programın tasarlanması, uygulanması ve çıktıları ile ilgili bilgilerin programın kalitesinin ve etkinliğinin izlenip geliştirilmesi amacıyla sistematik bir şekilde toplanıp analiz edilmesidir.

Program değerlendirme neden yapılır?

Program değerlendirmenin içsel ve dışsal sebepleri vardır. Dışsal sebeplerin belki de en önemlisi akreditasyon gereklilikleridir. Bir diğeri ise hesap verilebilirliktir. İçsel sebep ise programın kalitesini artırmak için durum tespiti yapma isteği olabilir.

Bazı Program Değerlendirme Modelleri 

Deneysel ve Yarı-Deneysel Modeller

Bu modeller indirgemeci teoriye uygundur. Eğitim program değerlendirmesinde ilk kullanılan yöntemlerdendir ve 1960’larda yaygın kullanıma ulaşmıştır. Girdi ve çıktılar arasında doğrusal bir sebep-sonuç ilişkisi olduğunu kabul eder. Bu kabulün ışığında program değerlendirmesini sıkı kontrol edilen bir bilimsel deney düzeneği kurarak yapmayı amaçlar. Deneysel modellerin kullanışlılığı bu yüzden düşüktür ve daha kullanışlı olması için yarı-deneysel modeller oluşturulmuştur. Her ikisinin de eğitim programlarının karmaşıklığını gözden ardı ettiği ortadadır. 

Kontrol gruplu modelde öğrenciler rastgele olarak iki gruba ayrılır. Bir gruba yeni program, diğer gruba eski program uygulanır. Programdaki bütün faktörler kontrol altında tutulmaya çalışılarak yeni programla eski programın başarıya etkisi değerlendirilmek istenir. Ama işleyiş bu kadar kolay değildir, karmaşıktır. Eğer girdiler ile çıktılar arasında bir doğrusal ilişki olduğu kabul ediliyorsa, araştırmacı, bütün girdileri kontrol altında tutabileceğini garanti altına almalıdır. 

Zaman serisine yayılmış modelde ise bir kişi ya da grubun zaman içindeki davranışlarıyla ilgili çalışma yapılır. Mesela bir öğrenci grubunun programdan önce, program sırasında ve programdan sonraki durumunun ölçümü yapılır. Aradaki değişime bakılarak programın etkililiği değerlendirilir. Ama öğrenmeye sadece programın değil, değişik dışsal faktörlerin de etki ettiği gerçeği dikkate alınacak olunursa, ortaya çıkan etkinin ne kadarının programdan kaynaklandığın bilmek mümkün değildir. 

Ex Post Facto modeli, bazı uzmanlar tarafından eleştirilse de, program uygulanıp bitmiş ve değerlendirmeye yönelik yeni veriler o anda toplanamaz durumdaysa tercih edilen bir modeldir.

Deneysel ve yarı deneysel modeller, eğiticilerin bu yönteme aşina olmasından dolayı bir kullanım kolaylığı sunar. Ama programın doğrusal bir şekilde çıktılara etki ettiğini farz etmek, gerçek hayatın karmaşık yapısından dolayı zordur. Ayrıca, eğitim ortamını deneysel ortam gibi yapılandırmak da zordur. Dolayısıyla deneysel modellerin kullanımı tartışmalıdır. Bunlarla birlikte, iki farklı programın iki farklı grupta denenmesinden dolayı, etkisi düşük olan programı alan öğrencilerin etik dışı bir uygulamaya maruz kalmış olması kaçınılmazdır. Bu boyut da göz ardı edilmemelidir.

Kirkpatrick Modeli

Kirkpatrick modeli, öğrenci çıktılarına odaklanan oldukça popüler bir modeldir. Bu popülerliğini, programın çıktılarına odaklanmasına ve öğrencinin tatmin düzeyini ölçmekten ötesini de net bir şekilde ifade etmesine borçludur. 

Kirkpatrick modelinde program değerlendirmenin 4 seviyesinden bahsedilir:

1. Öğrencilerin programdan tatmin düzeyinin ya da programa tepkilerinin ölçülmesi.
2. Öğrencilerin programda kazandıkları bilgi, beceri, tutumun ölçülmesi.
3. Davranış değişikliğinin ölçülmesi.
4. Programın geniş alandaki etkisinin ölçülmesi.

İlk seviyede öğrencilerin tatmin düzeyleri anketle ya da odak grup görüşmesi gibi yöntemlerle ölçülebilir. Öğrencilere programın ne kadar yararlı olduğu, öğrencilerin programı beğenip beğenmediği gibi sorular sorulur.

İkinci seviyede ise öğrencilerin ne öğrendiğinin tespiti vardır. Kazandırılmak istenen bilgi, beceri, tutumla ilgili ölçüm yapılır. Mesela program sonrasında yapılan ölçme-değerlendirme uygulamaları bu anlamda veri oluşturur.

Üçüncü seviyede, programın davranış değişikliği oluşturup oluşturulmadığına bakılır. Mesela öğrencinin eğitim sürecinde standardize hastalar üzerinden öğrendiklerini klinik ortamda gerçek hastalar üzerinde uygulayıp uygulayamadığı incelenir.

Dördüncü ve son seviyede, programın daha geniş kapsamdaki etkileri değerlendirilir. Mesela fakülteye mali yararını, hasta memnuniyetine etkisini ölçen geniş alanlı araştırmalar yapılır.

Kirkpatrick modeli çeşitli eleştiriler almıştır. İndirgemeci yaklaşımın bir yansıması olarak, programla çıktılar arasında doğrusal bir bağ kurması eleştirilmiştir. Ayrıca; öğrenmeyi etkileyen öğrenci motivasyonu ve hazırbulunuşluk seviyesini, program bileşenleri ile bağlamının ilişkisini, etkin kaynak kullanımını göz ardı ettiği için de eleştiri almıştır.

Model kendi başına bütüncül bir program değerlendirmesi yapmaya imkân vermese ve programın neden başarılı ya da başarısız olduğu konusundan bilgi sağlamasa da program çıktılarını sınıflandırma açısından kullanışlıdır.

Mantık Modeli

Mantık modelinin, program bileşenlerinin ve bağlamın birbirleriyle ilişkisine odaklanması dolayısıyla sistem teorisinden etkilendiği söylenebilir. Stufflebeam’in CIPP modeliyle benzerlik gösterir. Mantık modelinde dört bileşen vardır: Girdi (input), faaliyetler (activities), ürün (output), çıktı (outcome) (Ek not: Output-Outcome-Impact, sırasıyla kısa vadeden uzun vadeye etkileri ifade eder. Yani bu kavramların arasındaki fark zamansal bir düzlemdedir). Yapısının bu denli basit olması nedeniyle çoğu kişiyi cezbetse de, programda kullanılan yöntemlerle programın çıktıları arasındaki karmaşık ilişkinin çok iyi anlaşılmış olduğunu kabul eder. Programın dinamik yapısı, değerlendiriciler tarafından iyi kavranmadığında bu model olumlu sonuç vermeyebilir.

Girdi (input) bileşeni, programın henüz başında var olan maddi veya bilişsel her türlü kaynağın tanımlanmasıyla ilgilidir. Öğretim üyelerinin sayısı ve niteliği, eğiticilerin zaman ayırabilme imkanları, fakültenin maddi olanakları, teknolojik imkanlar, kurum kültürü gibi çok çeşitli kaynak, girdi olarak değerlendirilebilir. CIPP modelindeki girdi bileşenine benzer ama CIPP modelinde girdiler daha detaylıdır.

Modekin ikinci bileşeni olan “faaliyet”, planlanan programda yer alması düşünülen stratejiler ve yenilikler dizisi olarak ifade edilebilir. Mesela eğitim modüllerinin oluşturulması bir faaliyettir. Üçüncü bileşen ise üründür (output). Faaliyetler sonucunda ortaya çıkan her ne varsa bu kapsamda ele alınır. Her faaliyetin en az bir ürün çıkarması beklenir. Her bir ürün birden fazla faaliyetle ilişkilendirilmiş olabilir. Ortaya çıkan ürünlerin önemi ve büyüklüğü çeşitli olabilir. Bir sonraki aşama olan çıktı ile bu aşamadaki ürünü ayırt etmek zor olabilir. Ürün mesela faaliyetlere katılan öğrenci sayısı, oluşturulan eğitim modülleri birer üründür.

Çıktı ise, programdaki faaliyetler sonucunda elde edilmesi istenen kısa, orta ve uzun vadeli değişimlerdir. Programın çıktıları, öğrencinin bir bilgi veya beceriyi kazanması, kazandığı beceriyi gerçek hayatta uygulamaya geçirmesi, hastaların sağlık durumlarında iyileşme olması gibi sonuçlar olabilir. 

Bu model, bileşenlerin ötesinde programın bağlamına ve etkisine (impact) atıf yapar. Bağlam, programın içinde bulunduğu sosyal, kültürel ve siyasi iklimle şekillenir ve bu nedenle iklimin de dikkate alınması gerekir. Etki ise daha çok uzun vadeli sonuçları ifade eder. 

·         Mantık modelinde program değerlendirirken cevap aranan sorulardan bazıları şunlardır

• Bütün faaliyetler planlandığı şekilde uygulandı mı? Plandan sapma olduysa neden oldu ve bu değişiklik neden gerekliydi? 
• Gerekli personeller yer aldı mı? Beklenilen şekilde davrandılar mı? Yaptıkları işle ilgili becerileri yeterli miydi?
• Programdaki faaliyetler, öğrencilerin ihtiyaçlarını ne ölçüde karşıladı?
• Programın uygulanma sürecinde ne gibi engellerle karşılaşıldı? Bunları aşmak için neler yapıldı? 
• Öğrenciler öğrendiklerini kliniğe ne ölçüde ve hangi sıklıkla aktarabildiler? 
• Program uygulandıktan sonra hastalarla ilgili veriler ne yönde değişti?

Özetle, bu model var olan bir program gözden geçirilip yenileneceği zaman oldukça kullanışlıdır. Çünkü program geliştiricilerin; programın başlangıçtaki kaynakları ile ilgili ilişkileri (girdi), stratejiyi ve çözümleri (faaliyetler), faaliyetlerin erken dönem sonuçlarını (ürün), programın arzulanan başarısını (çıktı) tanımlamasını gerektirir. Bu noktada önemli olan bir diğer unsur, bağlamı ve bileşenler arasındaki ilişkiye dikkat çekmesi ve sosyal, kültürel ve siyasi faktörleri de hesaba katmasıdır. 

Ne var ki bu modeli kullanan değerlendiriciler, bileşenlerin birbirleriyle doğrusal ilişkisi olduğu zannına kolayca kapılabilir. Bileşenler körü körüne takip edildiğinde, bağlam dikkate alınmadığında ve hesapta olmayan gelişmeler göz ardı edildiğinde olumsuz sonuçlara gebe olacaktır. Mantık modelinin kullanımı, programı yöneten ekibin programın bileşenleri arasındaki ilişkiyi bildiği ve kullanılacak stratejilerin ne gibi sonuçlar vereceğini çıkarsayabildiği durumlarda değişim odaklı değerlendirmeler için en iyi sonucu verir.

Modelin kullanımı neticesinde faaliyetler ile sonuçlar arasında sebep-sonuç ilişkisi kurulamaz. Ama programın yapısı ve elde edilen sonuçlar hakkında çok fazla bilgi oluşur.

Stufflebeam’in CIPP (Context/Input/Process/Product) Modeli

1971’de Daniel Stufflebeam  tarafından yayınlanan CIPP modeli sadece eğitim alanında değil, birçok değişik alanda da kullanılmıştır. Mantık modelindeki bileşenlerle örtüşüyor olsa da, Mantık modelindeki doğrusal ilişki tehlikesi CIPP modelinde yoktur. Bir programın bileşenlerinin dinamik olduğunun, bileşenlerin birbirleriyle ilişkilerinin karmaşık yapıya büründüğünün farkında olan kişiler, CIPP modelini kuvvetli bir araç olarak göreceklerdir. Bu model, büyük oranda sistem teorisiyle, biraz da karmaşıklık teorisiyle örtüşmektedir.

CIPP modelinin Bağlam, Girdi, Süreç ve Çıktı bileşenleri, program geliştirmenin planlama, uygulama düzey belirleyici (summative) değerlendirme fazlarını ele alır. Bağlam, girdi ve sürecin karşılığı biçimlendirici (formative) değerlendirmeye tekabül ederken, çıktı ise düzey belirleyici değerlendirmeye karşılık gelir. CIPP modelinin her bir bileşeni kendine ait bir çalışma gerektirir.

Bağlam (Content) bileşeni ile ilgili çalışmalar yeni bir program yapılacağı ya da var olan bir programda değişikliğe gidileceği zaman gerçekleştirilir. Programla ilgili ihtiyaçlar, problemler ve fırsatlar ele alınarak programın amaçları ve öncelikleri tanımlanır. Ama unutulmamalıdır ki, yapılan çalışma klasik bir ihtiyaç analizi değildir. Çok çeşitli yöntemler kullanılabilir; demografik verilerin analizi, odak grup görüşmeleri, anketler, sınav sonuçları gibi kayıtların analizi. Bundan bağımsız olarak, bağlam bileşeninde elde edilen bilgiler aynı zamanda modelin ürün (product) bileşenindeki çalışmalar için de faydalı olabileceğini belirtmek gerekir. 

Girdi (Input) bileşeni ile ilgili çalışmalar, kaynakların dağılımı ile ilgili kararların verilmesi sürecinde kullanışlıdır. Personel sayısının, bütçenin ve zamanlamanın maliyet-etkin bir şekilde yapılması için gerekli bilgileri sağlar. Herhangi bir yerden bütçe talep etmeden önce veya programı kaynaklar açısından daha etkin hâle getirmek istendiğinde bu bileşen işletilebilir. Bu çalışmalar literatürün incelenmesi, örnek programların ziyaret edilmesi, uzmanlara danışma gibi yöntemler kullanılarak yapılabilir. 

Üçüncü bileşen olan süreçle (Process) ilgili çalışmalar, programın uygulanma süreciyle ilgili değerlendirme yapmak içindir ve aynı zamanda programın çıktılarını değerlendirme öncesinde bir hazırlık işlevi de görür. Süreç değerlendirmesi, amaçlanan değişim hakkında yeterli seviyeye gelene kadar çok sayıda yapılabilir. Bu değerlendirmenin program sürerken yapılması zorunlu değildir, bittikten sonra da yapılabilir ve programın işleyişi hakkında aydınlatıcı bilgiler verir. Süreçteki bağlamı da gözler önüne sermesi, bağlam değişince aynı sonuçların alınamayacağı düşünüldüğünde önemlidir. Değerlendirme sonucunda öğrenilenlerin yazılı bir halde kaydedilmesi, sonraki uygulayıcılara rehberlik etmesi açısından değerlidir. 

Ürün (Product) bileşeniyle ilgili çalışmalar, çoğu eğiticinin aşina olduğu bir bileşen olarak görülebilir ama geleneksel düzey belirleyici (summative) değerlendirmelerden çok daha fazlasını içerir. Programın olumlu ve olumsuz çıktıları, beklenen ve umulmadık sonuçları, kısa ve uzun vadeli etkileri, etkililiği, sürdürülebilirliği, farklı bağlamlara aktarılabilirliği gibi geniş bir ilgi alanı vardır. Ürün bileşeniyle ilgili değerlendirme çalışmaları, süreç bileşeniyle ilgili elde edilen veriler ışığında çok daha iyi sonuç verebilir. Yapılacak çalışmalar şunlar olabilir: Programdaki paydaşların fikrini öğrenmek, anket, grup görüşmeleri, öğrenim hedeflerinin değerlendirilmesi, benzer programların çıktıları ile karşılaştırma yapmak.

Özetle, CIPP modeli programları hem biçimlendirici (formative) hem düzey belirleyici (değerlendirme) için kullanıma uygundur. Programın bağlamına özellikle dikkat çeker ve sürece atıf yapar. Programı etkileyebilecek hiçbir bileşenin göz ardı edilmemesine önem verir. CIPP modelini kullanacak kişilerin iyi bir planlama yapması, modelin etkinliği için önemlidir. 

Bu içerik tamamen aşağıdaki kaynaktan yararlanılarak, sizi o asıl kaynağa başvurmaya teşvik etmek için oluşturulmuştur.

Kaynak

Frye AW, Hemmer PA (2012) Program evaluation models and related theories: AMEE Guide No. 67. Medical Teacher, 34:5, e288-e299. DOI: 10.3109/0142159X.2012.668637

Okuduğunuz bu yazıyı cihazınıza PDF olarak kaydetmek için şu bağlantıyı ziyaret edebilirsiniz: 
Stufflebeam'den CIPP ve Kirkpatrick: Program Değerlendirme Modelleri - PDF