İçindekiler
Dergi Arşivi

Program Ve Projelerin Etki Analizine İlişkin Seminer Ve Çalıştaylar Bilim Sanayi ve Teknoloji Bakanlığında Düzenlendi

 

Dünya üzerindeki hükümetlerin ve kuruluşların iyi yönetim, hesap verebilirlik ve şeffaflık, daha fazla kalkınma etkililiği ve somut sonuçların sağlanması taleplerine karşı daha duyarlı olmaları için sürekli ve artan baskısı vardır. Hükümetler, vatandaşlar, özel sektör, sivil toplum örgütleri, uluslararası örgütler daha iyi performansa ilgi duyan paydaşlar arasındadır. Daha fazla hesap verebilirlik talepleri arttıkça politikalar, programlar ve projelerin yönetimini desteklemek için yararlı ve kullanılabilir sonuçlara, değerlendirme sistemlerine ihtiyaç duymaktadır. 1

Bu amaçla Bilim, Sanayi ve Teknoloji Bakanlığı Verimlilik Genel Müdürlüğü bünyesinde Etki Analizi Daire Başkanlığı ile Bakanlığımız, bağlı ve ilgili kuruluşlar tarafından sağlanan desteklere ilişkin etki değerlendirme çalışmaları yürütülmektedir.

Etki Değerlendirme kanıta dayalı politika yapma gündeminin bir parçasını oluşturmaktadır. Bu artan küresel trend, odak noktasını girdilerden sonuç ve çıktılara değişimini işaret etmektedir. Yalnızca ulusal ve uluslararası hedefleri oluşturmak ve izlemek değil aynı zamanda hesap verilebilirliği artırmak, bütçe tahsisini oluşturmak, politika yapıcılara rehberlik etmek için gerekli olmakta ve kullanılmaktadır. 2 Dünya Bankası etki değerlendirme kavramını “program veya proje gibi bir kalkınma faaliyetinin hane halkı, kurumlar ve çevre üzerindeki olumlu veya olumsuz, amaçlanarak veya amaçlanmadan oluşan etkilerinin sistematik bir şekilde belirlenmesi” şeklinde açıklamaktadır. Etki değerlendirme çalışmaları müdahalelerin (hangi şartlarda) çalışıp çalışmadığının tespit edilmesi ve etkisinin büyüklüğü hakkında somut bilgiler sağlamaktadır.

Etki değerlendirme, izleme ve süreçlerin değerlendirilmesinden farklıdır. İzleme ve süreçlerin değerlendirilmesi ile süreç iyileştirilmesi yapılarak daha iyi bir süreç yapısı ortaya konulmaya çalışılmaktadır.3 Etki değerlendirme çalışmalarında ise politika yapıcılara program hakkında etkililik, verimlilik, sürdürebilirlik, etkinlik hakkında bilgiler verilmektedir. İzleme ve değerlendirme kanıta dayalı politika oluşturma sürecinin en önemli kısmını oluşturmaktadır. Etki değerlendirme ise kanıta dayalı politika desteklerinin tamamlayıcı aralığını oluşturmaktadır.4 İzleme değerlendirme faaliyetleri; hizmetin daha kaliteli bir şekilde sağlanması, kaynakların verimli ve etkin bir şekilde kullanılması, performansın ortaya koyulmasında yöneticilere, kamu kurumlarına ve topluma ışık tutmaktadır. Kamu müdahalelerinin etkinliklerini incelerken değerlendirme çalışmalarında etki analizi haricinde izleme değerlendirme sürecinin de genel itibarıyla önemli olduğu anlaşılmıştır.

Bakanlığımız, bağlı ve ilgili kuruluşlarınca yatırım bütçeleri kapsamında kullanılan kamu kaynaklarının “etki analizi” değerlendirmesini yapacak olan Verimlilik Genel Müdürlüğü Etki Analizi Dairesi Başkanlığında kurumsal kapasiteyi geliştirmek amacıyla, öncelikle 7 Aralık 2017 tarihinde Verimlilik Kongresi kapsamında Sayıştay, TTGV, İzleme ve Değerlendirme Derneği, Polcy Analytics Lab, EY Danışmanlık temsilcileri, Ankara ve Dokuz Eylül Üniversitesinden öğretim üyelerinin katılımı ile bir Çalıştay düzenlenmiştir. Söz konusu Çalıştay kapsamında, stratejik planlar ile bütçe ilişkilerinin kurulması, yatırım programlarının etkinliğinin artırılması ve hesap verilebilirliğin geliştirilebilmesi için ilk kurumsal uygulaması Bakanlığımız bünyesinde geliştirilen Etki Analizi Dairesi Başkanlığının bütün taraflarca desteklenmesi gerektiği ve Bakanlığımızın bu konuda yalnız bırakılmaması hususlarına vurgu yapılmıştır.

Yine, Bakanlığımızda 8 Aralık 2017 tarihinde bir seminer düzenlenmiş olup söz konusu seminere Kanada’da bulunan Ottawa Üniversitesinden Dr. J Bradlet Cousins ve Hind Al Hudib “Evidence-Based Principles to Guide Collaborative Approaches to Evaluation” konusunda sunumlar yapmışlardır. Aynı günün öğleden sonrasında ise, Etki Değerlendirme Dairesi Başkanlığı personeli, İzleme ve Değerlendirme Derneği çalışanları, Dokuz Eylül Üniversitesi öğretim üyeleri ile Ottawa Üniversitesinin adı geçen öğretim üyelerinin katılımı ile bir Çalıştay gerçekleştirilmiştir.

Seminerin ilk oturumunda izleme değerlendirme kavramı, kapasite geliştirme, değerlendirme yaklaşımları hakkında Dr. J. Bradlet Cousins tarafından bilgilendirme yapılmıştır. Cousins, izleme değerlendirme çalışmalarının bir yandan program ve projelerin daha etkin ve verimli uygulanması için ders çıkarma (Lessons learned) ve öğrenmenin aracı olduğunu; diğer yandan ise kullanılan kamu kaynağının kamuoyuna karşı bir hesap verebilirliğin bir gereği olduğunu ifade etmiştir. Ayrıca izleme kavramında programın yararı ve önemini ortaya koyabilmek için sistemik araştırmanın gerekli olduğu, değerlendirme çalışmalarında ise programın performansını tanımlayan sistematik araştırmanın gerekli olduğu belirtilmiştir. Sistematik araştırmanın program çerçevesi ve planlanması, enstrüman geliştirme, veri toplama, analiz etme, yorumlama ve raporlama bölümlerinden oluşmakta, değerlendirmede ise deney ve kontrol gruplarına ait verileri karşılaştırarak ve önce-sonra test analizleri uygulayarak gerçekleştirilmektedir.

Seminerin ikinci oturumunda ise İş Birlikçi Değerlendirme Yaklaşımı hakkında bilgiler verilerek, sağlıklı bir değerlendirmenin, değerlendiriciler ile paydaşların iyi bir iş birliğinden geçtiği ifade edilmiştir. Böylece değerlendiriciler çalışmaya profesyonel becerilerini, değerlendirme mantığını ve bilgilerini; paydaşlar ise program içeriği hakkındaki bilgilerini ortaya koyabileceklerdir.

Aynı tarihte, Bakanlığımızda gerçekleştirilen Çalıştayın ilk oturumunda ise “İş Birlikçi Değerlendirme Yaklaşımı” kavramı üzerinde durulmuştur. İş Birlikçi Değerlendirme Yaklaşımının, paydaşların bilgi ihtiyaçları ve menfaatleri temelinde işbirliği içinde tasarlanması ve geliştirilmesi gerekliliği ifade edilerek, İş Birlikçi Değerlendirme Yaklaşımı ilkeleri 8 başlıkta tanımlanmıştır.


Şekil 1.
İş Birlikçi Değerlendirme Yaklaşımı Prensipleri

İş Birliği ve Motivasyon: Değerlendirme için geleneksel ya da alternatif bir yaklaşımın aksine paydaşlarla birlikte geliştirilen bir değerlendirme yaklaşımının tercih edilmesidir. Bu ilke, iş birliğine dayalı yaklaşımın gerekçesini tam olarak anlamayı teşvik eder.
Göstergeler:
• Program bilgi ihtiyaçları hakkında paydaşlar arasında yüksek düzeyde anlaşma var mı?
• Program hedefleri paydaşlar arasında tutarlı bir şekilde benimseniyor mu?

Anlamlı İlişkiler Geliştirmek: Değerlendiriciler ile program paydaşları, açık ve sık iletişim dâhil olmak üzere paydaşlar arasındaki kaliteli iş ilişkilerinin bilinçli bir şekilde gelişmesine ilham verir.
Göstergeler:
• Paydaşların katılımı hangi düzeyde olmalıdır?
• Düzenli olarak planlanan toplantılar yapılıyor mu; tutarlı devam ediyorlar mı; saygılı ve profesyonel görüşmeler var mı?
• Süreç tüm üyelerin seslerini içeriyor mu?

Programda Ortak Bir Anlayış Geliştirmek: İçerikte yer alan program mantığının açıklanmasını teşvik eder.
Göstergeler:
• Paydaşlar size programın mantığını öğretmede yardımcı oluyor mu?
• Paydaşlar arasında program mantığı konusunda makul bir uzlaşmaya varılabilir mi?

Katılımcıları Sürece Teşvik Etmek: Katılım için tanımlanan paydaşların sorumluluklarını dikkate alarak, iş birliğine dayalı sürecin uygulanacağı biçime yansıtabilmeyi teşvik eder.
Göstergeler:
• Paydaşlar tüm değerlendirme faaliyetlerinde hangi düzeyde yer almaktadır? Katılım seviyelerine göre rahat oluyorlar mı?
• Paydaşların katılımı yeterince çeşitlilik içeriyor mu? Farklı perspektifler gösteriliyor mu?

Kaynak Kullanılabilirliğinin İzlenmesi: Mali kaynaklara ek olarak paydaş değerlendirme ekibi üyelerinin, düzenli mesleki rollerinden gelen taleplerle rekabet gücünden kaçınmadığına ciddi önem vermeyi garanti eder.
Göstergeler:
• Değerlendirme kapsamı ile gerekli fonlar, zaman ve personel arasında bir uyum var mı?
• Öngörülemeyen gelişmeler karşısında yeniden müzakere edilebilir mi?
Değerlendirme Kalitesini ve İlerlemesini İzlemek: Veri kalite güvencesinin kritik öneme sahip olduğunu ve değerlendirme standartlarının mesleki standartlarının sürdürülmesini vurgular.
Göstergeler:
• Paydaşlar, veri kalitesi güvencesinin kritik önemini anlamıyor mu? Göstergelerin anlaşılabilmesi için eğitim gerekli mi?
• Gerilim veya tutarsızlıklar çözülebilir mi, açıkça görüşülebilir mi?

Değerlendirme Düşüncesinin Teşvik Edilmesi: Değerlendirmeye yönelik örgütsel, kültürel beğeninin ve toplumsal değişime olan gücünün aktif ve bilinçli bir şekilde gelişmesine ilham verir.
Göstergeler:
• Değerlendirme, araştırmaya yönelen kültürün değerini ortaya koyacak kritik olaylar kullandı mı?
• Paydaşlar, bulgular ve süreç hakkında haberdar ve bunları takdir edebiliyorlar mı?
• Paydaşların bulguların etkilerini belirleme konusunda yeterli fırsatı var mı?

Uygulanan Sonuçların Takip Edilmesi: Öğrenme, kapasite geliştirme ve değerlendirme ile ilgili diğer pratik ve dönüştürücü sonuçların potansiyelinin bilinçli olarak değerlendirilmesini teşvik eder.
Göstergeler:
• Paydaşların rol ve sorumlulukları önemli şekillerde değiştirildi mi? Bu tür değişiklikleri sağlayacak destekler nelerdir?
• Değerlendirmeden doğan tüm sonuç ve önerilere adil muamele uygulanmış mı?
Çalıştayın ikinci oturumunda ise İş Birlikçi Değerlendirme Yaklaşımı ile yürütülen bir projenin başarılı ve başarısız olmasına sebep olacak etkenlerin neler olabileceği üzerinde durulmuştur. İş Birlikçi Değerlendirme Yaklaşımı ile yürütülen projenin başarılı olmasında farklı meslek gruplarından gelen kişilerin bir araya gelmesinin olaylara karşı farklı açılardan bakılabilme olanağının sağlanmış olması, sürecin sürekli izlenmesi ve zamanında müdahale edilebilmesi sıralanırken; başarısız olmasında ise projenin amaçlarının tam olarak belirtilmemiş olması, çalışmaya ait yeteri kadar veri elde edilmemiş olması ve çalışmaya dışarıdan dâhil olan kişilerin veya paydaşların isteksiz olması gibi pek çok fikir ortaya çıkmıştır.

Dipnot

1. The World Bank, Making Monitoring and Evaluation System Work

2.The World Bank, Impact Evaluation in Practise

3. Leeuw and Vaessen, 2009: 47

4. The World Bank, Making Monitoring and Evaluation System Work