İçindekiler
Dergi Arşivi

AR-GE Alanında Kurumsal Performans Endeksleri

Dr. Önder BELGİN / Sanayi ve Teknoloji Uzmanı - Necla YAHŞİ / Sanayi ve Teknoloji Uzman Yardımcısı

 

Giriş

Performans; bir işi yapan bireyin, bir grubun ya da bir kuruluşun o işle amaçlanan hedefe ne ölçüde ulaşabildiğinin nicel ve nitel göstergesidir. Diğer bir ifadeyle, herhangi bir işte gösterilen başarı derecesidir[1].Performans; bir işi yapan bireyin, bir grubun ya da bir kuruluşun o işle amaçlanan hedefe ne ölçüde ulaşabildiğinin nicel ve nitel göstergesidir. Diğer bir ifadeyle, herhangi bir işte gösterilen başarı derecesidir[2].Bir sistemin genel performansı ise yukarıdaki tüm faktörleri içine alacak şekilde ele alınmaktadır.Kurumların gerçekleştirdikleri faaliyetlere ilişkin performans düzeylerini izlemeleri ve bunlara yönelik düzenleyici faaliyetlerde bulunmaları günümüz modern yönetim anlayışının temellerini oluşturmaktadır. Hedeflerini doğru bir şekilde belirleyen ve bu hedeflere ulaşmalarını sağlayacak doğru stratejileri oluşturan kurumlar, rekabet güçlerini artırırken ülkemizin ekonomik gelişimine de olumlu yönde katkılar sunmaktadır. Bu açıdan bakıldığında güçlü ekonomiler ile performansı yüksek kurumlar arasında doğrusal bir ilişki olduğu görülmektedir.

Performans ölçümü, bir kurumun önceden belirlenen amaçlara ve hedeflere göre ortaya çıkan ürünleri, hizmetleri ve/veya sonuçları birlikte değerlendirmesine yönelik analitik bir süreçtir. Daha teknik bir ifadeyle, bir kurumun kullandığı kaynakları, ürettiği ürünleri ve hizmetleri, elde ettiği sonuçları takip etmesi için düzenli ve sistematik biçimde veri toplaması, bunları analiz etmesi ve raporlaması süreci olarak tanımlanabilir. Uygulayıcılar açısından ise bir kurum tarafından veya bir program içinde yürütülen faaliyetlerin rakamsal olarak ifade edilmesi anlamına gelmektedir [3].Performans ölçüm sonuçları karar vericiler açısından çok önemli bilgiler içermekte ve verecekleri kararlar için önemli bir girdi özelliği taşımaktadır. Dolayısıyla sağlanacak bu girdinin doğruluğu, verilecek kararların etkinliğini de yakından ilgilendirmektedir. Bu noktada performans ölçümleri, üzerinde dikkatle durulması gereken bir konu haline gelmektedir. Performans ölçümünde kullanılan göstergeler, organizasyonların amaçlarına uygun olarak seçildikten sonra bu göstergelerden bilgi elde etmede kullanılacak olan yöntem belirlenmelidir. Performans ölçümü literatürü incelendiğinde birçok performans ölçüm yöntemi karşımıza çıkmaktadır. Her sistem için geliştirilmiş bir performans ölçüm modeli olmadığı için amaçlara göre çeşitli yöntemler geliştirilmiştir [4]. Bu yöntemler arasında Oran Analizi, Regresyon Analizi, Veri Zarflama Analizi, Objektif Matris Yöntemi, Çok Kriterli Karar Verme Teknikleri sayılabilir.

Endeks, bir değişkenin ya da değişkenler kümesinin zaman boyunca nasıl değiştiğini ortaya koyan bir ölçüttür. Bir endeksin amacı, performansa ilişkin genel durumun ortaya konmasını sağlamaktır. Endekslerin bir yönetim aracı olarak kullanılmasının sebebi, çok sayıdaki değişkene ait bilgiyi tek bir sayıda toplu olarak içeriyor olmasıdır. Endeks oluşturmada kullanılan standart formüller ya da yöntemler bulunmamaktadır. Bununla birlikte tüm endeks oluşturma çalışmalarında kullanılacak temel yaklaşıma göre, endeksler özel bir amaç için tasarlanır ve bu tasarım süreci doğru ve ilgili göstergelerin seçilmesi ve endeksin amacı doğrultusunda bu göstergelerin toplulaştırılmasından oluşur.

Çok sayıda performans göstergesinin dikkate alınması gerektiği durumlarda performans endeksi oluşturma, yararlı bir performans yönetim aracı olarak karşımıza çıkmaktadır. Bu noktada performans endeksi, performansın zaman boyunca nasıl değişim gösterdiğinin istatistiksel olarak ölçümüdür. Performans endeksinin temel özelliği, çok sayıda bilgiyi tek bir rakamda toplamasıdır. Çok sayıda değişkenden bir kısmının arttığı, azaldığı ya da değişmeden kaldığı durumda genel durumun ortaya konmasında performans endeksi kullanılmaktadır. Performans endeksleri, bir organizasyonun öz değerlendirmesini yapmasında kullanılabileceği gibi diğer kurum ve kuruluşlar tarafından organizasyonların değerlendirilmesi ve bir kıyaslama bilgisinin elde edilmesi amacıyla da kullanılabilir. Dolayısıyla kamu politikası açısından bakıldığında bu tür endeksler, uygulanan programların hedeflenen amaçlar doğrultusunda bir etki oluşturması için hedef kitlenin belirlenen kriterler açısından nasıl bir performans gösterdiğinin belirlenmesi amacıyla kullanılabilmektedir. Bu sayede uygulanan politika ve programlarda yapılacak iyileştirme alanlarının belirlenmesine de olanak sağlanmaktadır.

Performans endekslerinin karar vericilere ve politika yapıcılara sağlayacağı faydalar aşağıdaki gibi sıralanabilir [2]:

  • İlgili politika ve programların belirlenen amaçları karşılayacak şekilde işleyip işlemediğinin tespit edilmesi,
  • İlgili politika ve programlarda amaçlara ilişkin problemli alanların belirlenmesi,
  • Oluşturulan politikaların bilgiye dayalı olarak gerçekleştirilmesi,
  • Gerçek alanda bir gelişmenin olup olmadığının tespit edilmesi

Dünyada ve Türkiye’de Performans Endeksi Uygulamaları

Uluslararası performans endeksi çalışmalarına genel olarak bakıldığında çevre üzerine çok sayıda uygulamanın olduğu dikkat çekmektedir. Ayrıca ekonomi alanında da çalışmalar yoğunlaşmaktadır. Bunlardan biri olan Ekonomik Özgürlük Endeksi [5]; 1995 yılından beri, Heritage Vakfı ile The Wall Street Journal tarafından yıllık olarak yayımlanan, dünya ülkelerindeki ekonomik bağımsızlığı 10 temel bileşen ve bunların alt bileşenleri çerçevesinde ölçmektedir. Dünya Bankası tarafından gerçekleştirilen Bilgi Endeksi ve Bilgi Ekonomisi Endeksi [6] çalışmalarında ülkelerin bilgiyi üretme, uyarlama, yayma ve bilgi temelli bir ekonomi oluşturma konusundaki performansları ölçülmektedir. Ekonomik Kalkınma ve İşbirliği Örgütü (Organisation for Economic Co-operation and Development-OECD) tarafından uygulamaya konulan Daha İyi Yaşam Endeksi [7], ülkelerin refah seviyesini; konut, gelir, iş, iletişim ve toplum, eğitim, çevre, sivil katılım ve yönetim, sağlık, yaşam memnuniyeti, güvenlik ve iş yaşam dengesi kriterlerine göre ortaya koymaktadır. Son olarak, bilim ve teknoloji alanında gerçekleştirilen endeks çalışmalarına bakıldığında OECD tarafından ilki 1999 yılında yapılan Bilim, Teknoloji ve Sanayi Karnesi [8] çalışması dikkati çekmektedir. İki yılda bir gerçekleştirilen bu çalışma kapsamında, çok sayıda gösterge ile OECD üyesi ve üye olmayan diğer önemli ülkelerin performansları ortaya konmaktadır. Bu sayede ülkelerin başta bilim ve teknoloji olmak üzere birçok alanda daha etkili politikalar üretmeleri ve hedeflerine yönelik olarak bunları izlemeleri sağlanmaya çalışılmaktadır. Bilim ve teknoloji alanında gerçekleştirilen bir diğer endeks çalışması ise Birleşik Bilim ve Teknoloji Yenilik Endeksi’dir [9]. Kore Bilim ve Teknoloji Planlama ve Değerlendirme Kurumu (Korea Institute of S&T Evaluation and Planning-KISTEP) tarafından hazırlanan bu endeks kapsamında, OECD üyesi 30 ülkenin bilim ve teknoloji yenilik kapasitesi; faaliyetler, kaynaklar, iş birliği ağları, çevre ve performans olmak üzere beş temel boyutta ölçülmektedir.

Türkiye’de performans endeksi çalışmaları özellikle son yıllarda artmaya başlamıştır. Bu çalışmalardan en önemli ikisi TÜBİTAK tarafından gerçekleştirilen Girişimci ve Yenilikçi Üniversite Endeksi ile Kalkınma Bakanlığı tarafından yürütülen Sosyo-Ekonomik Gelişmişlik Endeksi çalışmalarıdır. TÜBİTAK tarafından ilk kez 2012 yılında hazırlanan Girişimci ve Yenilikçi Üniversite Endeksi [10] kapsamında üniversiteler, girişimcilik ve yenilikçilik performanslarına göre sıralanmakta ve her yıl Türkiye’nin en girişimci ve yenilikçi elli üniversitesi belirlenmektedir. Bu endeks çalışması ile üniversiteler arasında girişimcilik ve yenilikçilik odaklı rekabetin artması ve girişimcilik ekosisteminin gelişimine katkı sağlanması amaçlanmaktadır. Kalkınma Bakanlığı tarafından yürütülen Sosyo-Ekonomik Gelişmişlik Endeksi [11] çalışmasında ise illerin ve bölgelerin sosyoekonomik gelişmişlik düzeyindeki değişmelerin ortaya konulması amaçlanmaktadır. Söz konusu endeks çalışması, illerin ve bölgelerin ekonomik ve sosyal sektörler itibarıyla zaman içinde izlenmesini ve karşılaştırmalar yapılmasını sağlamaktadır. Ayrıca bu endeks; kalkınmada öncelikli yörelerin belirlenmesine, kamu kaynaklarının tahsisine ve özel sektör yatırımlarının yönlendirilmesine ilişkin politikaların belirlenmesinde temel oluşturmaktadır.

Ülkelerin kalkınmasında ve sürdürülebilir rekabet gücü elde etmesinde Ar-Ge ve yenilik faaliyetleri önemli bir rol oynamaktadır. Bu nedenle özellikle gelişmekte ola ülkelerde kamu kurumları tarafından çok sayıda Ar-Ge ve yenilik desteği sunulmaktadır. Ülkemizde de Ar-Ge ve yenilik kapasitesinin geliştirilmesi amacıyla Bilim, Sanayi ve Teknoloji Bakanlığı koordinasyonunda çeşitli kurumsal Ar-Ge destekleri sağlanmaktadır. Bu desteklerin sağlandığı iki önemli kurumsal yapı, Teknoloji Geliştirme Bölgeleri ile özel sektör Ar-Ge Merkezleri’dir. Bu sebeple, ülkemizin kalkınması ve rekabet gücünün artması Teknoloji Geliştirme Bölgeleri’nin ve Ar-Ge Merkezlerinin amacına uygun ve etkili şekilde sürdürülebilirliğinin sağlanması açısından performansının ölçülmesi büyük önem taşımaktadır. Bu sebeple; Bakanlığımız tarafından Teknoloji Geliştirme Bölgeleri ve özel sektör Ar-Ge Merkezleri’ne yönelik olarak gerçekleştirilen performans endeksi çalışmalarını yürütülmektedir.

Bakanlığımız Tarafından Yürütülen Performans Endeksi Çalışmalarında Kullanılan Yöntem

Teknoloji Geliştirme Bölgeleri ve Ar-Ge Merkezleri Performans Endeksi çalışmalarının tamamında ortak bir hesaplama yöntemi izlenmektedir. Bu yöntem dâhilinde izlenen adımlar aşağıda sırasıyla verilmiştir.

Adım I: Göstergelerin Oluşturulması

Performans endeksi hesaplamasında yer alacak karar verme birimlerinden ham veriler elde edilerek, uzmanlar tarafından belirlenen değişkenlere oranlanarak göstergeler oluşturulur.

Adım II: En Küçük ve En Büyük Derlerin Belirlenmesi

Göstergelerin oluşturulmasının ardından her bir gösterge için en küçük (min) ve en büyük (max) değerler tespit edilir.

Adım III: Uç Derlerin Belirlenmesi ve Dönüştürülmesi

Tüm karar verme birimlerine ait göstergeler incelenerek her bir göstergedeki olumlu ve olumsuz uç değerler tespit edilir. Uç değerlerin belirlenmesinde ortalama değerden sapmalar (2σ veya 3σ) dikkate alınır. Endeksi olumsuz etkilemesini önlemek amacıyla bu uç değerler yerine, diğer değerlerler içerisinden en büyük veya en küçük değerler konulmuştur.

Adım IV: Göstergelerin Yeniden Ölçeklendirilmesi

AB ve OECD yenilik endekslerinde de kullanılan yaklaşımla her bir gösterge; en büyük değer 100, en küçük değer 0 ve ortanca (medyan) değeri 50 olacak şekilde standardize edilir. Gösterge değerlerinin hesaplanmasında aşağıdaki formüllerden yararlanılır:

Gösterge değeri, veri setinin ortancasından büyükse;

 

 

Gösterge değeri, veri setinin ortancasından küçükse;

 

Adım V: Performans Endeksi Puanının Hesaplanması

Tüm karar verme birimlerine ait performans endeksi puanlarının hesaplanması, yeniden ölçeklendirilmiş değerlerin ağırlıklı ortalaması alınarak gerçekleştirilmiştir. Her bir göstergeye ait ağırlıklar, desteği yürüten birimin öngörüleri ve gelecek değerlendirmelerinin yanı sıra ilgili kurumların (Teknoloji Geliştirme Bölgeleri ve Ar- Ge Merkezleri) görüşleri alınarak belirlenmiştir.

 

Teknoloji Geliştirme Bölgeleri Performans Endeksi

Bakanlığımızda Teknoloji Geliştirme Bölgeleri Performans Endeksi çalışmaları 2011 yılından itibaren yürütülmektedir. Söz konusu endeks; Teknoloji Geliştirme Bölgeleri’nin performanslarının ve kendi içlerindeki yıllık gelişiminin izlenmesi, karar vericiler açısından; politika, strateji ve yol haritası oluşturmada kaynak sağlanması ve Teknoloji Geliştirme Bölgeleri’ndeki gelişmelerin kamuoyuna sunulması amaçlarını taşımaktadır.

Teknoloji Geliştirme Bölgeleri Performans Endeksi; 3 temel bileşen, 9 alt bileşen, 25 temel gösterge ve 65 göstergeden oluşmaktadır. Temel bileşenler Girdi, Faaliyet ve Çıktı başlıkları altında toplanmıştır. Her bir temel bileşenin endeks hesaplamasında sahip olduğu ağırlıklar sırasıyla; %16,6; %51 ve %32,34’tür. Bu bileşenlerin ayrıntılarına bakıldığında ise Girdi temel bileşeni finansman, teşvikler ve altyapı, Faaliyet temel bileşeni Ar-Ge faaliyeti, kuluçka faaliyet, teknoloji transferi ve iş birliği faaliyeti, kurumsallaşma sürdürülebilirlik ve ekosistem geliştirme faaliyeti ve teknolojik ürün yatırım faaliyetinden ve Çıktı temel bileşeni ise Ar-Ge çıktıları, fikri mülkiyet, Ar-Ge sonuçları ve uluslararasılaşma alt bileşeninden oluşmaktadır. Teknoloji Geliştirme Bölgeleri Performans Endeksi kapsamında kullanılan temel bileşenler ve alt bileşenler ile temel göstergelerin ve bunlara ait ağırlıklar Tablo 1’de yer almaktadır.

Tablo 1. Teknoloji Geliştirme Bölgeleri Performans Endeksi Bileşenleri ve Temel Göstergeleri

Temel Bileşen / Alt Bileşen / Gösterge

Ağırlık (%)

GİRDİ

16,66

Finansman Teşvikler ve Altyapı

16,66

Doluluk Seviyesi

8,33

Firmalara Sağlanan Muafiyetler

3,67

Yönetici Şirkete Sağlanan Destekler

3,33

Yönetici Şirketin Yaptığı Harcamalar

1,33

FAALİYET

51

Ar-Ge Faaliyeti

14

Ar-Ge Projeleri

6,33

Ar-Ge Gideri

4,67

Ar-Ge Personeli

3

Kuluçka Faaliyeti

9

Kuluçka Hizmeti

7,33

Kuluçka İstihdamı

1,67

Teknoloji Transferi ve İş Birliği Faaliyeti

13

Bilgi ve Teknoloji Transferi

5

Uluslararası Ar-Ge İş Birlikleri

4,33

Firmalar Arası İş Birliği

3,67

Kurumsallaşma, Sürdürülebilirlik ve Ekosistem Geliştirme Faaliyeti

12

Yurtdışı Faaliyetleri

5,33

Yönetici Şirketin Sağladığı Hizmetler

3,34

Kapasite Geliştirme Faaliyeti

2,33

Kümelenme Çalışmaları

1

Teknolojik Ürün Yatırım Faaliyeti

3

Yatırımcı Faaliyeti

2

Ticarileşme Faaliyeti

1

ÇIKTI

32,34

Ar-Ge Çıktıları

6,67

Proje Çıktıları

3,67

Kuluçka Hizmeti Çıktıları

3

Fikri Mülkiyet

5,99

Patent

3,66

Tasarım

1,33

Faydalı Model

1

Ar-Ge Sonuçları ve Uluslararasılaşma

19,68

Ar-Ge Gelirleri

12,68

İhracat

7

Ar-Ge Merkezleri Performans Endeksi

Ar-Ge Merkezleri Performans Endeksi çalışmaları ise 2012 yılından bu yana yürütülmektedir. Söz konusu endeks; Ar-Ge Merkezlerinin yıllık gelişimlerinin izlenmesi, karar vericiler açısından; politika, strateji ve yol haritası oluşturmada kaynak sağlanması, politika ve programların belirlenen amaçları karşılayacak şekilde işleme durumunun tespit edilmesi, Ar-Ge Merkezi denetim süreçlerinde bu çıktılardan istifade edilmesi ve Ar-Ge Merkezlerindeki gelişmelerin kamuoyuna sunulması amaçlarını taşımaktadır.Ar-Ge Merkezleri Performans Endeksi hesaplamalarında endeks bileşenleri 3 temel bileşen, 6 alt bileşen ve 33 adet göstergeden oluşmaktadır. Temel bileşenler Girdi, Süreç ve Çıktı başlıkları altında toplanmıştır. Her bir temel bileşenin endeks hesaplamasında sahip olduğu ağırlıklar sırasıyla; %36; %26 ve %38’dir. Girdi temel bileşeni; Ar-Ge personeli istihdamı ve Ar-Ge harcama yoğunluğu; Süreç temel bileşeni proje kapasitesi ile işbirliği ve etkileşim; Çıktı temel bileşeni ise ticarileşme ve fikri mülkiyet yetkinliği alt bileşenlerinden oluşmaktadır.

Tablo 2. Ar-Ge Merkezleri Performans Endeksi Bileşenleri ve Temel Göstergeleri

Temel Bileşen / Alt Bileşen / Gösterge

Ağırlık (%)

GİRDİ

36

Ar-Ge Personeli İstihdamı

25

Doktora Dereceli Araştırma Ağırlığı

3,82

Yüksek Lisans Dereceli Araştırmacı Ağırlığı

3,70

Halen Doktora Öğrencisi Olan Araştırmacı Ağırlığı

3,50

Eğitim oranı

3,17

Halen Yüksek Lisans Öğrencisi Olan Araştırmacı Ağırlığı

3,04

Ar-Ge Personeli Ağırlığı

3,00

Lisans Dereceli Araştırmacı Ağırlığı

2,60

Yeni istihdam Ağırlığı

2,17

Ar-Ge Harcama Yoğunluğu

11

Ar-Ge harcamasının ciroya oranı

4,04

Personel başına düşen Ar-Ge harcamasının önceki yıla göre artış oranı

4,03

Ar-Ge harcamasının muafiyet oranı

2,93

SÜREÇ

26

Proje Kapasitesi

17,16

AB ve uluslararası destekli projelerin dönemsel harcamasının toplam proje harcamasına oranı

4,66

Tamamlanan proje harcamasının Ar-Ge personeli sayısına oranı

4,24

Yürütülen proje harcamasının Ar-Ge personeli sayısına oranı

3,83

İşletme katkısının kamu desteği miktarına oranı

2,93

Kamu destekli projelerin (üniversite-sanayi iş birliği olmayan) dönemsel harcamasının toplam proje harcamasına oranı

1,50

İşbirliği ve Etkileşim

8,84

Kamu destekli üniversite-sanayi iş birliği projeleri dönemsel harcamasının toplam proje harcamasına oranı

3,24

Firmalar arası Ar-Ge işbirliği olan proje harcamasının toplam proje harcamasına oranı

3,10

Üniversite-sanayi işbirliği kapsamındaki diğer projelerin dönemsel harcamasının toplam proje harcamasına oranı

2,50

ÇIKTI

38

Ticarileşme

15

Yeni ürünlerden elde edilen cironun toplam ciroya oranı

4,20

Net kârın net satışa oranının faaliyet yılına göre artış hızı

3,80

Yurtdışı satış artışının faaliyet yılına göre hızı

3,67

Cironun önceki yıla göre değişimi

3,33

Fikri Mülkiyet Yetkinliği

23

Tescil edilen uluslararası patent yoğunluğu

4,20

Başvuru yapılan uluslararası patent yoğunluğu

3,35

Tescil edilen ulusal patent yoğunluğu

3,25

Başvuru yapılan ulusal patent yoğunluğu

2,95

Tescil edilen faydalı model yoğunluğu

1,95

Tescil edilen marka yoğunluğu

1,92

Yayınlanan makale sayısının Ar-Ge personeli sayısına oranı

1,55

Tescil edilen endüstriyel tasarım yoğunluğu

1,43

Yayınlanan bildiri sayısının Ar-Ge personeli sayısına oranı

1,20

Konferans, fuar vb. katılımının önceki yıla göre değişimi

1,20

Yukarıda detayları ortaya konulan ölçüm yönteminde, modelinin ve ağırlıklarının belirlenmesi sonrasında performans ölçümü aşamasına geçilmektedir. İlk olarak, performans endeksinin hesaplanmasında kullanılacak olan gösterge değerlerinin elde edilebilmesi için gerekli olan veriler TGB ve Ar-Ge Merkezleri’nden temin edilmektedir. Verilerin uzmanlar tarafından kontrol edilmesine müteakip, eksik olan veriler tekrar talep edildikten sonra tüm veriler detaylı bir biçimde gözden geçirilerek analiz aşamasına geçilmektedir. Yapılan hesaplamalar neticesinde Teknoloji Geliştirme Bölgesi Performans Endeksi ve Ar-Ge Merkezleri Performans Endeksi sonuçları elde edilerek sonuçlar Teknoloji Geliştirme Bölgeleri Zirvesi ile Ar-Ge ve Tasarım Merkezleri Zirvesi’nde kamuoyu ile paylaşılmaktadır.

Sonuç ve Değerlendirme

Performans ölçümü ile organizasyonlar; mevcut durumlarını değerlendirme, belirledikleri hedefe ulaşma derecelerini tespit etme ve bunlara dayalı olarak gelecek stratejilerini belirleme fırsatını yakalamaktadır. Bu açıdan bakıldığında performans ölçümü, hem firmalar hem de kamu kurumları için çok önemli bir değerlendirme aracı haline gelmektedir. Bilim, Sanayi ve Teknoloji Bakanlığı tarafından gerçekleştirilen Teknoloji Geliştirme Bölgeleri ve Ar-Ge Merkezleri Performans Endeksi çalışmaları tüm uygulayıcıların belirlenen ortak hedefe doğru ilerlemesine olanak sağlayarak ulusal yenilik ve Ar-Ge sisteminin güçlendirilmesini sağlamaktadır. Bu tür çalışmaların yaygınlaştırılması kanıta dayalı politika geliştirme alanına kaynaklık etmesi açısından oldukça önemlidir.

Kaynaklar

  1. Okur, Y. (2007), Türkiye’de Kamu Denetimi, Değişim Süreci ve Performans Denetimi, Nobel Yayıncılık, Ankara.
  2. Lawson, P. (1995), Performance Management: An Overview, The Performance Management Handbook, Walters, M. (Ed.), London: Institute of Personel and Development.
  3. Sayıştay (2000), Performans Ölçüm Rehberi, Araştırma/İnceleme/Çeviri Dizisi, No: 7, Ankara.
  4. Ersoylu, İ. (2011), “Bulanık VIKOR ve Bulanık AHP Yöntemleri İle Performans Ölçümü: Havacılık ve Uzay Teknolojileri Enstitüsü’ne Öğrenci Seçimi”, Yüksek Lisans Tezi, Hava Harp Okulu, Havacılık ve Uzay Teknolojileri Enstitüsü, İstanbul.
  5. URL 1: http://www.heritage.org/index/download, (25.01.2018)
  6. URL 2: http://web.worldbank.org/WBSITE/EXTERNAL/WBI/BIPROGRAMS/KFDLP/EXTUNIKAM/0,,contentMDK:20584278~menuPK:1433216~pagePK:64168445~piPK:64168309~theSitePK:1414721,00.html, (25.01.2018)
  7. URL 3: http://www.oecd-ilibrary.org/economics/how-s-life-2013_9789264201392-en, (25.01.2018)
  8. URL 4: http://www.oecd-ilibrary.org/docserver/download/9213051e.pdf?expires= 1424936704&id=id&accname=guest&checksum=C9DAE9A70D70F-14D549391C38F1CE32F, (25.01.2018).
  9. URL 5: http://www.kistep.re.kr/en/c3/sub6.jsp#none, (25.01.2018).
  10. URL 6: http://www.tubitak.gov.tr/sites/default/files/gyue_gosterge_seti.pdf, (25.01.2018).
  11. URL 7: http://www3.kalkinma.gov.tr/DocObjects/View/15310/SEGE-2011.pdf, (25.01.2018).