Burada yalnızca teknik verilere odaklanan bir değerlendirme, uygulamanın işlevsel açıdan başarılı olduğunu söyleyebilir. İnsan deneyimini de dikkate alan bir değerlendirme ise mahremiyet, iş-yaşam dengesi ve çalışanların kontrol duygusu gibi sorunları ortaya çıkarabilir.
Ters yönde bir örnek de mümkündür. Bir eğitim projesinde katılımcılar atölyelerden memnun kaldıklarını, eğitmenlerle iyi iletişim kurduklarını ve kendilerini daha özgüvenli hissettiklerini belirtebilir. Ancak yapılan beceri ölçümleri, katılımcıların öğrendiklerini uygulamada zorlandığını gösteriyorsa yalnızca olumlu geri bildirimlere dayanarak projenin hedeflerine ulaştığı sonucuna varamayız.
Bu iki örnekten çıkarılacak sonuç, verilerin duyguları geçersiz kılmadığı, duyguların da ölçümü gereksiz hâle getirmediğidir. Memnuniyet anketleri, kullanıcı görüşmeleri, performans ölçümleri ve davranışsal göstergeler birlikte değerlendirildiğinde daha güçlü bir analiz ortaya çıkar.
Forum açısından tartışmaya değer nokta şudur: Bir projenin gerçek başarısını belirlerken hangi göstergelere daha fazla ağırlık vermeliyiz? Bu ağırlık, projenin türüne göre değişmeli midir?
5. Toplumsal Etki ve Farklı Deneyimlerin Görünür Olması
Bir projenin toplumsal etkisini değerlendirmek, yalnızca toplam faydayı hesaplamak anlamına gelmez. Faydanın kimlere ulaştığını, kimlerin bu faydadan daha az yararlandığını ve uygulamanın bazı gruplar üzerinde beklenmeyen sonuçlar doğurup doğurmadığını da incelemek gerekir.
Örneğin bir toplu taşıma uygulaması geliştirildiğinde toplam kullanıcı sayısı ve işlem hızı önemli göstergelerdir. Ancak görme engelli kullanıcıların uygulamayı ekran okuyucuyla kullanıp kullanamadığı, yaşlı yolcuların arayüzü anlayıp anlamadığı veya internet erişimi sınırlı kişilerin hizmetten yararlanıp yararlanamadığı da önemlidir.
Benzer şekilde bir mesleki eğitim projesi, yüzlerce kişiye sertifika sağlayabilir. Fakat eğitime katılanların ne kadarının iş bulduğu, işe girenlerin ne kadarının işinde kaldığı ve sonuçların farklı toplumsal gruplar arasında değişip değişmediği araştırılmadıkça uzun vadeli fayda konusunda sınırlı bilgiye sahip oluruz.
Bu noktada farklı deneyimlere yer vermek, yalnızca nezaket veya temsil meselesi değildir. Aynı zamanda proje risklerini erken fark etmeyi ve kaynakları daha verimli kullanmayı sağlayabilir. Kullanıcıların farklı koşullarını anlamak, başlangıçta düşünülmeyen erişim engellerini ortaya çıkarabilir.
Bununla birlikte, her toplumsal farkı otomatik olarak cinsiyete bağlamak doğru değildir. Gelir düzeyi, yaş, engellilik, eğitim, yaşanılan bölge ve bakım sorumlulukları gibi etkenler birbiriyle kesişebilir. Örneğin büyük şehirde yaşayan, dijital becerileri yüksek bir kadın ile kırsal bölgede yaşayan ve sınırlı internet erişimine sahip bir kadın aynı proje hakkında benzer deneyimler yaşamayabilir. Aynı çeşitlilik erkekler için de geçerlidir.
Bu nedenle iyi bir proje değerlendirmesi, yalnızca kadın ve erkek toplamlarını karşılaştırmakla yetinmemeli; gerekli olduğunda yaş, gelir, erişilebilirlik ve kullanım koşulları gibi diğer değişkenleri de dikkate almalıdır.
6. Güvenilir Kaynaklar Ne Söylüyor? Veriler ve Araştırmaların Işığında
Somut çıktılarla toplumsal etki arasındaki ilişkiyi anlamak için uluslararası kuruluşların değerlendirme çerçevelerinden yararlanabiliriz. Ekonomik İşbirliği ve Kalkınma Örgütü (OECD), projelerin değerlendirilmesinde uygunluk, tutarlılık, etkililik, verimlilik, etki ve sürdürülebilirlik olmak üzere altı ölçüt tanımlar. Bu çerçeve, yalnızca planlanan hedeflerin gerçekleştirilmesine değil, projenin ne kadar anlamlı ve kalıcı sonuçlar ürettiğine de bakılması gerektiğini ortaya koyar.
OECD'nin değerlendirme yaklaşımında önemli bir nokta, sonuçların farklı gruplar arasında değişip değişmediğinin araştırılmasıdır. Bir proje genel hedeflerine ulaşmış görünse bile belirli kullanıcı grupları daha az yararlanmış olabilir. Ayrıca gözlenen bir değişimin gerçekten projeden kaynaklanıp kaynaklanmadığını anlamak gerekir. Projeyle aynı dönemde gerçekleşen ekonomik, sosyal veya kurumsal değişiklikler de sonuçları etkileyebilir.
Kaynak: OECD, Applying Evaluation Criteria Thoughtfully. https://www.oecd.org/en/publications/applying-evaluation-criteria-thoughtfully_543e84ed-en.html
Dünya Bankasının kadın girişimciliğine yönelik ölçme ve değerlendirme kaynakları da somut çıktılar, sonuçlar ve etkiler arasında ayrım yapıyor. Bu yaklaşımda nicel göstergeler kadar güven, özgüven, davranış değişikliği ve erişim engelleri gibi unsurların da değerlendirilmesi öneriliyor. Bazı değişimler sayısal verilerle izlenebilirken bazılarını anlamak için görüşmeler, odak grup çalışmaları ve doğrudan gözlem gerekebiliyor.
Buradan önemli bir sonuç çıkarabiliriz: İnsan deneyimini incelemek, bilimsel ölçümden uzaklaşmak anlamına gelmez. Doğru tasarlanmış nitel araştırmalar da sistematik veri üretir. Örneğin on kişinin yaşadığı bir sorunun yaygınlığını yalnızca bu görüşmelerden hesaplayamayız; ancak sorunun nasıl ortaya çıktığını, neden devam ettiğini ve hangi koşullarda çözülebileceğini daha iyi anlayabiliriz. Nicel ve nitel yöntemlerin görevleri farklıdır ve birlikte kullanıldıklarında değerlendirmeyi güçlendirebilirler.
Kaynak: Dünya Bankası, Female Entrepreneurship Resource Point – Module 4: How to Measure Change. https://www.worldbank.org/en/topic/gender/publication/female-entrepreneurship-resource-point-module-4-how-to-measure-change
Cinsiyet konusundaki genellemeleri değerlendirirken de bilimsel araştırmalara başvurmak gerekir. Koch, D’Mello ve Sackett tarafından 2015 yılında Journal of Applied Psychology dergisinde yayımlanan meta-analiz, 22.348 katılımcıyı kapsayan 136 bağımsız etki büyüklüğünü incelemiştir. Araştırma, işe alım ve değerlendirme kararlarında cinsiyet kalıp yargılarının belirli koşullarda etkili olabildiğini ortaya koymuştur. Özellikle erkek egemen mesleklerde erkek adayların tercih edilmesine yönelik bir eğilim görülürken, değerlendirilen kişinin yeterliliğine ilişkin açık bilgilerin bu önyargıyı azaltabildiği de bildirilmiştir.
Bu çalışma, kadınların ve erkeklerin doğaları gereği farklı analiz biçimlerine sahip olduğunu kanıtlamaz. Tam tersine, değerlendirmelerin sosyal beklentilerden ve mesleki bağlamdan etkilenebileceğini gösterir. Dolayısıyla bir proje toplantısında kimin daha nesnel, kimin daha duygusal olduğuna karar vermek yerine, sunulan kanıtların niteliğine ve kullanılan ölçütlerin tutarlılığına bakmak daha sağlıklıdır.
Kaynak: Koch, A. J., D’Mello, S. D. ve Sackett, P. R. (2015). A Meta-Analysis of Gender Stereotypes and Bias in Experimental Simulations of Employment Decision Making. Journal of Applied Psychology, 100(1), 128–161. https://doi.org/10.1037/a0036734
7. Somut Çıktıları Değerlendirirken Hangi Göstergeler Kullanılmalı?
Bir projenin başarısını daha doğru anlamak için göstergeleri üç temel düzeyde ele almak yararlı olur.
Birinci düzey: Üretim ve teslim göstergeleri. Tamamlanan ürün sayısı, teslim tarihi, bütçe kullanımı, hata oranı ve teknik standartlara uygunluk bu gruptadır. Bu göstergeler, proje ekibinin doğrudan kontrol edebildiği sonuçları değerlendirmeye yardımcı olur.
İkinci düzey: Kullanım ve davranış değişikliği göstergeleri. Ürünün ne sıklıkla kullanıldığı, hizmete erişenlerin hedeflenen işlemleri tamamlayıp tamamlamadığı, eğitim alan kişilerin öğrendiklerini uygulayıp uygulamadığı ve kullanıcıların sorunlarının ne ölçüde çözüldüğü burada incelenir.
Üçüncü düzey: Uzun vadeli etki göstergeleri. Kalıcı beceri gelişimi, maliyetlerin zaman içinde azalması, çevresel kazanımların sürmesi, hizmete erişimde eşitsizliklerin azalması veya çalışanların iş koşullarının iyileşmesi bu düzeyde değerlendirilebilir.
Örneğin bir mesleki eğitim projesi için 200 kişinin eğitimi tamamlaması somut bir çıktı; katılımcıların beceri sınavlarında daha yüksek başarı göstermesi bir sonuç; eğitimden sonra iş bulma ve istihdamda kalma oranlarının uzun vadede artması ise daha geniş bir etki göstergesi olabilir. Ancak iş bulma oranındaki artışın tamamını eğitim programına bağlamak doğru olmaz. Ekonomik büyüme, bölgesel iş gücü talebi ve katılımcıların başlangıçtaki deneyimleri de sonuçları etkileyebilir.
Bu nedenle ölçüm sistemi proje başlamadan önce tasarlanmalıdır. Başlangıç değerleri kaydedilmeli, hedefler açıkça tanımlanmalı, veri toplama yöntemleri belirlenmeli ve sonuçların hangi aralıklarla inceleneceği kararlaştırılmalıdır. Aksi hâlde proje tamamlandıktan sonra elde edilen veriler, başlangıçtaki durumla güvenilir bir karşılaştırma yapmak için yetersiz kalabilir.
Ters yönde bir örnek de mümkündür. Bir eğitim projesinde katılımcılar atölyelerden memnun kaldıklarını, eğitmenlerle iyi iletişim kurduklarını ve kendilerini daha özgüvenli hissettiklerini belirtebilir. Ancak yapılan beceri ölçümleri, katılımcıların öğrendiklerini uygulamada zorlandığını gösteriyorsa yalnızca olumlu geri bildirimlere dayanarak projenin hedeflerine ulaştığı sonucuna varamayız.
Bu iki örnekten çıkarılacak sonuç, verilerin duyguları geçersiz kılmadığı, duyguların da ölçümü gereksiz hâle getirmediğidir. Memnuniyet anketleri, kullanıcı görüşmeleri, performans ölçümleri ve davranışsal göstergeler birlikte değerlendirildiğinde daha güçlü bir analiz ortaya çıkar.
Forum açısından tartışmaya değer nokta şudur: Bir projenin gerçek başarısını belirlerken hangi göstergelere daha fazla ağırlık vermeliyiz? Bu ağırlık, projenin türüne göre değişmeli midir?
5. Toplumsal Etki ve Farklı Deneyimlerin Görünür Olması
Bir projenin toplumsal etkisini değerlendirmek, yalnızca toplam faydayı hesaplamak anlamına gelmez. Faydanın kimlere ulaştığını, kimlerin bu faydadan daha az yararlandığını ve uygulamanın bazı gruplar üzerinde beklenmeyen sonuçlar doğurup doğurmadığını da incelemek gerekir.
Örneğin bir toplu taşıma uygulaması geliştirildiğinde toplam kullanıcı sayısı ve işlem hızı önemli göstergelerdir. Ancak görme engelli kullanıcıların uygulamayı ekran okuyucuyla kullanıp kullanamadığı, yaşlı yolcuların arayüzü anlayıp anlamadığı veya internet erişimi sınırlı kişilerin hizmetten yararlanıp yararlanamadığı da önemlidir.
Benzer şekilde bir mesleki eğitim projesi, yüzlerce kişiye sertifika sağlayabilir. Fakat eğitime katılanların ne kadarının iş bulduğu, işe girenlerin ne kadarının işinde kaldığı ve sonuçların farklı toplumsal gruplar arasında değişip değişmediği araştırılmadıkça uzun vadeli fayda konusunda sınırlı bilgiye sahip oluruz.
Bu noktada farklı deneyimlere yer vermek, yalnızca nezaket veya temsil meselesi değildir. Aynı zamanda proje risklerini erken fark etmeyi ve kaynakları daha verimli kullanmayı sağlayabilir. Kullanıcıların farklı koşullarını anlamak, başlangıçta düşünülmeyen erişim engellerini ortaya çıkarabilir.
Bununla birlikte, her toplumsal farkı otomatik olarak cinsiyete bağlamak doğru değildir. Gelir düzeyi, yaş, engellilik, eğitim, yaşanılan bölge ve bakım sorumlulukları gibi etkenler birbiriyle kesişebilir. Örneğin büyük şehirde yaşayan, dijital becerileri yüksek bir kadın ile kırsal bölgede yaşayan ve sınırlı internet erişimine sahip bir kadın aynı proje hakkında benzer deneyimler yaşamayabilir. Aynı çeşitlilik erkekler için de geçerlidir.
Bu nedenle iyi bir proje değerlendirmesi, yalnızca kadın ve erkek toplamlarını karşılaştırmakla yetinmemeli; gerekli olduğunda yaş, gelir, erişilebilirlik ve kullanım koşulları gibi diğer değişkenleri de dikkate almalıdır.
6. Güvenilir Kaynaklar Ne Söylüyor? Veriler ve Araştırmaların Işığında
Somut çıktılarla toplumsal etki arasındaki ilişkiyi anlamak için uluslararası kuruluşların değerlendirme çerçevelerinden yararlanabiliriz. Ekonomik İşbirliği ve Kalkınma Örgütü (OECD), projelerin değerlendirilmesinde uygunluk, tutarlılık, etkililik, verimlilik, etki ve sürdürülebilirlik olmak üzere altı ölçüt tanımlar. Bu çerçeve, yalnızca planlanan hedeflerin gerçekleştirilmesine değil, projenin ne kadar anlamlı ve kalıcı sonuçlar ürettiğine de bakılması gerektiğini ortaya koyar.
OECD'nin değerlendirme yaklaşımında önemli bir nokta, sonuçların farklı gruplar arasında değişip değişmediğinin araştırılmasıdır. Bir proje genel hedeflerine ulaşmış görünse bile belirli kullanıcı grupları daha az yararlanmış olabilir. Ayrıca gözlenen bir değişimin gerçekten projeden kaynaklanıp kaynaklanmadığını anlamak gerekir. Projeyle aynı dönemde gerçekleşen ekonomik, sosyal veya kurumsal değişiklikler de sonuçları etkileyebilir.
Kaynak: OECD, Applying Evaluation Criteria Thoughtfully. https://www.oecd.org/en/publications/applying-evaluation-criteria-thoughtfully_543e84ed-en.html
Dünya Bankasının kadın girişimciliğine yönelik ölçme ve değerlendirme kaynakları da somut çıktılar, sonuçlar ve etkiler arasında ayrım yapıyor. Bu yaklaşımda nicel göstergeler kadar güven, özgüven, davranış değişikliği ve erişim engelleri gibi unsurların da değerlendirilmesi öneriliyor. Bazı değişimler sayısal verilerle izlenebilirken bazılarını anlamak için görüşmeler, odak grup çalışmaları ve doğrudan gözlem gerekebiliyor.
Buradan önemli bir sonuç çıkarabiliriz: İnsan deneyimini incelemek, bilimsel ölçümden uzaklaşmak anlamına gelmez. Doğru tasarlanmış nitel araştırmalar da sistematik veri üretir. Örneğin on kişinin yaşadığı bir sorunun yaygınlığını yalnızca bu görüşmelerden hesaplayamayız; ancak sorunun nasıl ortaya çıktığını, neden devam ettiğini ve hangi koşullarda çözülebileceğini daha iyi anlayabiliriz. Nicel ve nitel yöntemlerin görevleri farklıdır ve birlikte kullanıldıklarında değerlendirmeyi güçlendirebilirler.
Kaynak: Dünya Bankası, Female Entrepreneurship Resource Point – Module 4: How to Measure Change. https://www.worldbank.org/en/topic/gender/publication/female-entrepreneurship-resource-point-module-4-how-to-measure-change
Cinsiyet konusundaki genellemeleri değerlendirirken de bilimsel araştırmalara başvurmak gerekir. Koch, D’Mello ve Sackett tarafından 2015 yılında Journal of Applied Psychology dergisinde yayımlanan meta-analiz, 22.348 katılımcıyı kapsayan 136 bağımsız etki büyüklüğünü incelemiştir. Araştırma, işe alım ve değerlendirme kararlarında cinsiyet kalıp yargılarının belirli koşullarda etkili olabildiğini ortaya koymuştur. Özellikle erkek egemen mesleklerde erkek adayların tercih edilmesine yönelik bir eğilim görülürken, değerlendirilen kişinin yeterliliğine ilişkin açık bilgilerin bu önyargıyı azaltabildiği de bildirilmiştir.
Bu çalışma, kadınların ve erkeklerin doğaları gereği farklı analiz biçimlerine sahip olduğunu kanıtlamaz. Tam tersine, değerlendirmelerin sosyal beklentilerden ve mesleki bağlamdan etkilenebileceğini gösterir. Dolayısıyla bir proje toplantısında kimin daha nesnel, kimin daha duygusal olduğuna karar vermek yerine, sunulan kanıtların niteliğine ve kullanılan ölçütlerin tutarlılığına bakmak daha sağlıklıdır.
Kaynak: Koch, A. J., D’Mello, S. D. ve Sackett, P. R. (2015). A Meta-Analysis of Gender Stereotypes and Bias in Experimental Simulations of Employment Decision Making. Journal of Applied Psychology, 100(1), 128–161. https://doi.org/10.1037/a0036734
7. Somut Çıktıları Değerlendirirken Hangi Göstergeler Kullanılmalı?
Bir projenin başarısını daha doğru anlamak için göstergeleri üç temel düzeyde ele almak yararlı olur.
Birinci düzey: Üretim ve teslim göstergeleri. Tamamlanan ürün sayısı, teslim tarihi, bütçe kullanımı, hata oranı ve teknik standartlara uygunluk bu gruptadır. Bu göstergeler, proje ekibinin doğrudan kontrol edebildiği sonuçları değerlendirmeye yardımcı olur.
İkinci düzey: Kullanım ve davranış değişikliği göstergeleri. Ürünün ne sıklıkla kullanıldığı, hizmete erişenlerin hedeflenen işlemleri tamamlayıp tamamlamadığı, eğitim alan kişilerin öğrendiklerini uygulayıp uygulamadığı ve kullanıcıların sorunlarının ne ölçüde çözüldüğü burada incelenir.
Üçüncü düzey: Uzun vadeli etki göstergeleri. Kalıcı beceri gelişimi, maliyetlerin zaman içinde azalması, çevresel kazanımların sürmesi, hizmete erişimde eşitsizliklerin azalması veya çalışanların iş koşullarının iyileşmesi bu düzeyde değerlendirilebilir.
Örneğin bir mesleki eğitim projesi için 200 kişinin eğitimi tamamlaması somut bir çıktı; katılımcıların beceri sınavlarında daha yüksek başarı göstermesi bir sonuç; eğitimden sonra iş bulma ve istihdamda kalma oranlarının uzun vadede artması ise daha geniş bir etki göstergesi olabilir. Ancak iş bulma oranındaki artışın tamamını eğitim programına bağlamak doğru olmaz. Ekonomik büyüme, bölgesel iş gücü talebi ve katılımcıların başlangıçtaki deneyimleri de sonuçları etkileyebilir.
Bu nedenle ölçüm sistemi proje başlamadan önce tasarlanmalıdır. Başlangıç değerleri kaydedilmeli, hedefler açıkça tanımlanmalı, veri toplama yöntemleri belirlenmeli ve sonuçların hangi aralıklarla inceleneceği kararlaştırılmalıdır. Aksi hâlde proje tamamlandıktan sonra elde edilen veriler, başlangıçtaki durumla güvenilir bir karşılaştırma yapmak için yetersiz kalabilir.