Stufflebeam'den CIPP ve Kirkpatrick: Program Değerlendirme Modelleri

Bu yazıyı okumadan önce "İndirgemecilik, Sistem Kuramı ve Karmaşıklık Kuramı: Program Değerlendirme Bağlamında Kuramlar" adlı yazıyı okumanız tavsiye olunur.

Program değerlendirme, tıp eğitimi programlarını yönetenler için önemli bir sorumluluktur. Programın karşılığı, bire birde verilen ders kadar küçük olabileceği gibi, büyük bir tıp fakültesinin programı kadar büyük de olabilir. Ayrıca mezuniyet öncesiyle, mezuniyet sonrasıyla, sürekli mesleksel gelişimle alakalı bir programın değerlendirmesi de olabilir.

 

Program değerlendirme nedir?

Program değerlendirme süreci; programın tasarlanması, uygulanması ve çıktıları ile ilgili bilgilerin programın kalitesinin ve etkinliğinin izlenip geliştirilmesi amacıyla sistematik bir şekilde toplanıp analiz edilmesidir.

Program değerlendirme neden yapılır?

Program değerlendirmenin içsel ve dışsal sebepleri vardır. Dışsal sebeplerin belki de en önemlisi akreditasyon gereklilikleridir. Bir diğeri ise hesap verilebilirliktir. İçsel sebep ise programın kalitesini artırmak için durum tespiti yapma isteği olabilir.

Bazı Program Değerlendirme Modelleri 

Deneysel ve Yarı-Deneysel Modeller

Bu modeller indirgemeci teoriye uygundur. Eğitim program değerlendirmesinde ilk kullanılan yöntemlerdendir ve 1960’larda yaygın kullanıma ulaşmıştır. Girdi ve çıktılar arasında doğrusal bir sebep-sonuç ilişkisi olduğunu kabul eder. Bu kabulün ışığında program değerlendirmesini sıkı kontrol edilen bir bilimsel deney düzeneği kurarak yapmayı amaçlar. Deneysel modellerin kullanışlılığı bu yüzden düşüktür ve daha kullanışlı olması için yarı-deneysel modeller oluşturulmuştur. Her ikisinin de eğitim programlarının karmaşıklığını gözden ardı ettiği ortadadır. 

Kontrol gruplu modelde öğrenciler rastgele olarak iki gruba ayrılır. Bir gruba yeni program, diğer gruba eski program uygulanır. Programdaki bütün faktörler kontrol altında tutulmaya çalışılarak yeni programla eski programın başarıya etkisi değerlendirilmek istenir. Ama işleyiş bu kadar kolay değildir, karmaşıktır. Eğer girdiler ile çıktılar arasında bir doğrusal ilişki olduğu kabul ediliyorsa, araştırmacı, bütün girdileri kontrol altında tutabileceğini garanti altına almalıdır. 

Zaman serisine yayılmış modelde ise bir kişi ya da grubun zaman içindeki davranışlarıyla ilgili çalışma yapılır. Mesela bir öğrenci grubunun programdan önce, program sırasında ve programdan sonraki durumunun ölçümü yapılır. Aradaki değişime bakılarak programın etkililiği değerlendirilir. Ama öğrenmeye sadece programın değil, değişik dışsal faktörlerin de etki ettiği gerçeği dikkate alınacak olunursa, ortaya çıkan etkinin ne kadarının programdan kaynaklandığın bilmek mümkün değildir. 

Ex Post Facto modeli, bazı uzmanlar tarafından eleştirilse de, program uygulanıp bitmiş ve değerlendirmeye yönelik yeni veriler o anda toplanamaz durumdaysa tercih edilen bir modeldir.

Deneysel ve yarı deneysel modeller, eğiticilerin bu yönteme aşina olmasından dolayı bir kullanım kolaylığı sunar. Ama programın doğrusal bir şekilde çıktılara etki ettiğini farz etmek, gerçek hayatın karmaşık yapısından dolayı zordur. Ayrıca, eğitim ortamını deneysel ortam gibi yapılandırmak da zordur. Dolayısıyla deneysel modellerin kullanımı tartışmalıdır. Bunlarla birlikte, iki farklı programın iki farklı grupta denenmesinden dolayı, etkisi düşük olan programı alan öğrencilerin etik dışı bir uygulamaya maruz kalmış olması kaçınılmazdır. Bu boyut da göz ardı edilmemelidir.

Kirkpatrick Modeli

Kirkpatrick modeli, öğrenci çıktılarına odaklanan oldukça popüler bir modeldir. Bu popülerliğini, programın çıktılarına odaklanmasına ve öğrencinin tatmin düzeyini ölçmekten ötesini de net bir şekilde ifade etmesine borçludur. 

Kirkpatrick modelinde program değerlendirmenin 4 seviyesinden bahsedilir:

1. Öğrencilerin programdan tatmin düzeyinin ya da programa tepkilerinin ölçülmesi.
2. Öğrencilerin programda kazandıkları bilgi, beceri, tutumun ölçülmesi.
3. Davranış değişikliğinin ölçülmesi.
4. Programın geniş alandaki etkisinin ölçülmesi.

İlk seviyede öğrencilerin tatmin düzeyleri anketle ya da odak grup görüşmesi gibi yöntemlerle ölçülebilir. Öğrencilere programın ne kadar yararlı olduğu, öğrencilerin programı beğenip beğenmediği gibi sorular sorulur.

İkinci seviyede ise öğrencilerin ne öğrendiğinin tespiti vardır. Kazandırılmak istenen bilgi, beceri, tutumla ilgili ölçüm yapılır. Mesela program sonrasında yapılan ölçme-değerlendirme uygulamaları bu anlamda veri oluşturur.

Üçüncü seviyede, programın davranış değişikliği oluşturup oluşturulmadığına bakılır. Mesela öğrencinin eğitim sürecinde standardize hastalar üzerinden öğrendiklerini klinik ortamda gerçek hastalar üzerinde uygulayıp uygulayamadığı incelenir.

Dördüncü ve son seviyede, programın daha geniş kapsamdaki etkileri değerlendirilir. Mesela fakülteye mali yararını, hasta memnuniyetine etkisini ölçen geniş alanlı araştırmalar yapılır.

Kirkpatrick modeli çeşitli eleştiriler almıştır. İndirgemeci yaklaşımın bir yansıması olarak, programla çıktılar arasında doğrusal bir bağ kurması eleştirilmiştir. Ayrıca; öğrenmeyi etkileyen öğrenci motivasyonu ve hazırbulunuşluk seviyesini, program bileşenleri ile bağlamının ilişkisini, etkin kaynak kullanımını göz ardı ettiği için de eleştiri almıştır.

Model kendi başına bütüncül bir program değerlendirmesi yapmaya imkân vermese ve programın neden başarılı ya da başarısız olduğu konusundan bilgi sağlamasa da program çıktılarını sınıflandırma açısından kullanışlıdır.

Mantık Modeli

Mantık modelinin, program bileşenlerinin ve bağlamın birbirleriyle ilişkisine odaklanması dolayısıyla sistem teorisinden etkilendiği söylenebilir. Stufflebeam’in CIPP modeliyle benzerlik gösterir. Mantık modelinde dört bileşen vardır: Girdi (input), faaliyetler (activities), ürün (output), çıktı (outcome) (Ek not: Output-Outcome-Impact, sırasıyla kısa vadeden uzun vadeye etkileri ifade eder. Yani bu kavramların arasındaki fark zamansal bir düzlemdedir). Yapısının bu denli basit olması nedeniyle çoğu kişiyi cezbetse de, programda kullanılan yöntemlerle programın çıktıları arasındaki karmaşık ilişkinin çok iyi anlaşılmış olduğunu kabul eder. Programın dinamik yapısı, değerlendiriciler tarafından iyi kavranmadığında bu model olumlu sonuç vermeyebilir.

Girdi (input) bileşeni, programın henüz başında var olan maddi veya bilişsel her türlü kaynağın tanımlanmasıyla ilgilidir. Öğretim üyelerinin sayısı ve niteliği, eğiticilerin zaman ayırabilme imkanları, fakültenin maddi olanakları, teknolojik imkanlar, kurum kültürü gibi çok çeşitli kaynak, girdi olarak değerlendirilebilir. CIPP modelindeki girdi bileşenine benzer ama CIPP modelinde girdiler daha detaylıdır.

Modekin ikinci bileşeni olan “faaliyet”, planlanan programda yer alması düşünülen stratejiler ve yenilikler dizisi olarak ifade edilebilir. Mesela eğitim modüllerinin oluşturulması bir faaliyettir. Üçüncü bileşen ise üründür (output). Faaliyetler sonucunda ortaya çıkan her ne varsa bu kapsamda ele alınır. Her faaliyetin en az bir ürün çıkarması beklenir. Her bir ürün birden fazla faaliyetle ilişkilendirilmiş olabilir. Ortaya çıkan ürünlerin önemi ve büyüklüğü çeşitli olabilir. Bir sonraki aşama olan çıktı ile bu aşamadaki ürünü ayırt etmek zor olabilir. Ürün mesela faaliyetlere katılan öğrenci sayısı, oluşturulan eğitim modülleri birer üründür.

Çıktı ise, programdaki faaliyetler sonucunda elde edilmesi istenen kısa, orta ve uzun vadeli değişimlerdir. Programın çıktıları, öğrencinin bir bilgi veya beceriyi kazanması, kazandığı beceriyi gerçek hayatta uygulamaya geçirmesi, hastaların sağlık durumlarında iyileşme olması gibi sonuçlar olabilir. 

Bu model, bileşenlerin ötesinde programın bağlamına ve etkisine (impact) atıf yapar. Bağlam, programın içinde bulunduğu sosyal, kültürel ve siyasi iklimle şekillenir ve bu nedenle iklimin de dikkate alınması gerekir. Etki ise daha çok uzun vadeli sonuçları ifade eder. 

·         Mantık modelinde program değerlendirirken cevap aranan sorulardan bazıları şunlardır

• Bütün faaliyetler planlandığı şekilde uygulandı mı? Plandan sapma olduysa neden oldu ve bu değişiklik neden gerekliydi? 
• Gerekli personeller yer aldı mı? Beklenilen şekilde davrandılar mı? Yaptıkları işle ilgili becerileri yeterli miydi?
• Programdaki faaliyetler, öğrencilerin ihtiyaçlarını ne ölçüde karşıladı?
• Programın uygulanma sürecinde ne gibi engellerle karşılaşıldı? Bunları aşmak için neler yapıldı? 
• Öğrenciler öğrendiklerini kliniğe ne ölçüde ve hangi sıklıkla aktarabildiler? 
• Program uygulandıktan sonra hastalarla ilgili veriler ne yönde değişti?

Özetle, bu model var olan bir program gözden geçirilip yenileneceği zaman oldukça kullanışlıdır. Çünkü program geliştiricilerin; programın başlangıçtaki kaynakları ile ilgili ilişkileri (girdi), stratejiyi ve çözümleri (faaliyetler), faaliyetlerin erken dönem sonuçlarını (ürün), programın arzulanan başarısını (çıktı) tanımlamasını gerektirir. Bu noktada önemli olan bir diğer unsur, bağlamı ve bileşenler arasındaki ilişkiye dikkat çekmesi ve sosyal, kültürel ve siyasi faktörleri de hesaba katmasıdır. 

Ne var ki bu modeli kullanan değerlendiriciler, bileşenlerin birbirleriyle doğrusal ilişkisi olduğu zannına kolayca kapılabilir. Bileşenler körü körüne takip edildiğinde, bağlam dikkate alınmadığında ve hesapta olmayan gelişmeler göz ardı edildiğinde olumsuz sonuçlara gebe olacaktır. Mantık modelinin kullanımı, programı yöneten ekibin programın bileşenleri arasındaki ilişkiyi bildiği ve kullanılacak stratejilerin ne gibi sonuçlar vereceğini çıkarsayabildiği durumlarda değişim odaklı değerlendirmeler için en iyi sonucu verir.

Modelin kullanımı neticesinde faaliyetler ile sonuçlar arasında sebep-sonuç ilişkisi kurulamaz. Ama programın yapısı ve elde edilen sonuçlar hakkında çok fazla bilgi oluşur.

Stufflebeam’in CIPP (Context/Input/Process/Product) Modeli

1971’de Daniel Stufflebeam  tarafından yayınlanan CIPP modeli sadece eğitim alanında değil, birçok değişik alanda da kullanılmıştır. Mantık modelindeki bileşenlerle örtüşüyor olsa da, Mantık modelindeki doğrusal ilişki tehlikesi CIPP modelinde yoktur. Bir programın bileşenlerinin dinamik olduğunun, bileşenlerin birbirleriyle ilişkilerinin karmaşık yapıya büründüğünün farkında olan kişiler, CIPP modelini kuvvetli bir araç olarak göreceklerdir. Bu model, büyük oranda sistem teorisiyle, biraz da karmaşıklık teorisiyle örtüşmektedir.

CIPP modelinin Bağlam, Girdi, Süreç ve Çıktı bileşenleri, program geliştirmenin planlama, uygulama düzey belirleyici (summative) değerlendirme fazlarını ele alır. Bağlam, girdi ve sürecin karşılığı biçimlendirici (formative) değerlendirmeye tekabül ederken, çıktı ise düzey belirleyici değerlendirmeye karşılık gelir. CIPP modelinin her bir bileşeni kendine ait bir çalışma gerektirir.

Bağlam (Content) bileşeni ile ilgili çalışmalar yeni bir program yapılacağı ya da var olan bir programda değişikliğe gidileceği zaman gerçekleştirilir. Programla ilgili ihtiyaçlar, problemler ve fırsatlar ele alınarak programın amaçları ve öncelikleri tanımlanır. Ama unutulmamalıdır ki, yapılan çalışma klasik bir ihtiyaç analizi değildir. Çok çeşitli yöntemler kullanılabilir; demografik verilerin analizi, odak grup görüşmeleri, anketler, sınav sonuçları gibi kayıtların analizi. Bundan bağımsız olarak, bağlam bileşeninde elde edilen bilgiler aynı zamanda modelin ürün (product) bileşenindeki çalışmalar için de faydalı olabileceğini belirtmek gerekir. 

Girdi (Input) bileşeni ile ilgili çalışmalar, kaynakların dağılımı ile ilgili kararların verilmesi sürecinde kullanışlıdır. Personel sayısının, bütçenin ve zamanlamanın maliyet-etkin bir şekilde yapılması için gerekli bilgileri sağlar. Herhangi bir yerden bütçe talep etmeden önce veya programı kaynaklar açısından daha etkin hâle getirmek istendiğinde bu bileşen işletilebilir. Bu çalışmalar literatürün incelenmesi, örnek programların ziyaret edilmesi, uzmanlara danışma gibi yöntemler kullanılarak yapılabilir. 

Üçüncü bileşen olan süreçle (Process) ilgili çalışmalar, programın uygulanma süreciyle ilgili değerlendirme yapmak içindir ve aynı zamanda programın çıktılarını değerlendirme öncesinde bir hazırlık işlevi de görür. Süreç değerlendirmesi, amaçlanan değişim hakkında yeterli seviyeye gelene kadar çok sayıda yapılabilir. Bu değerlendirmenin program sürerken yapılması zorunlu değildir, bittikten sonra da yapılabilir ve programın işleyişi hakkında aydınlatıcı bilgiler verir. Süreçteki bağlamı da gözler önüne sermesi, bağlam değişince aynı sonuçların alınamayacağı düşünüldüğünde önemlidir. Değerlendirme sonucunda öğrenilenlerin yazılı bir halde kaydedilmesi, sonraki uygulayıcılara rehberlik etmesi açısından değerlidir. 

Ürün (Product) bileşeniyle ilgili çalışmalar, çoğu eğiticinin aşina olduğu bir bileşen olarak görülebilir ama geleneksel düzey belirleyici (summative) değerlendirmelerden çok daha fazlasını içerir. Programın olumlu ve olumsuz çıktıları, beklenen ve umulmadık sonuçları, kısa ve uzun vadeli etkileri, etkililiği, sürdürülebilirliği, farklı bağlamlara aktarılabilirliği gibi geniş bir ilgi alanı vardır. Ürün bileşeniyle ilgili değerlendirme çalışmaları, süreç bileşeniyle ilgili elde edilen veriler ışığında çok daha iyi sonuç verebilir. Yapılacak çalışmalar şunlar olabilir: Programdaki paydaşların fikrini öğrenmek, anket, grup görüşmeleri, öğrenim hedeflerinin değerlendirilmesi, benzer programların çıktıları ile karşılaştırma yapmak.

Özetle, CIPP modeli programları hem biçimlendirici (formative) hem düzey belirleyici (değerlendirme) için kullanıma uygundur. Programın bağlamına özellikle dikkat çeker ve sürece atıf yapar. Programı etkileyebilecek hiçbir bileşenin göz ardı edilmemesine önem verir. CIPP modelini kullanacak kişilerin iyi bir planlama yapması, modelin etkinliği için önemlidir. 

Bu içerik tamamen aşağıdaki kaynaktan yararlanılarak, sizi o asıl kaynağa başvurmaya teşvik etmek için oluşturulmuştur.

Kaynak

Frye AW, Hemmer PA (2012) Program evaluation models and related theories: AMEE Guide No. 67. Medical Teacher, 34:5, e288-e299. DOI: 10.3109/0142159X.2012.668637

Okuduğunuz bu yazıyı cihazınıza PDF olarak kaydetmek için şu bağlantıyı ziyaret edebilirsiniz: 
Stufflebeam'den CIPP ve Kirkpatrick: Program Değerlendirme Modelleri - PDF