Çalışma Karakteristik İlişkilerini Kullanma
Formül, tüm çalışmalar çok büyük örneklerle yapılmış olsaydı, çalışma karakteristik korelasyonunun bir tahminini üretir. Formülün, örnekleme hatasının herhangi bir çalışma özelliği ile ilişkisiz olacağı varsayımına dayalı olarak türetildiğini belirtmek önemlidir.
Bu teorem araştırma alanı için doğrudur ve çok sayıda çalışma ile yapılan herhangi bir meta-analiz için yaklaşık olarak doğrudur. Bununla birlikte, az sayıda çalışma ile yapılan bir meta-analiz için, bu belirli çalışmalardaki örnekleme hataları, tesadüfen, o çalışma örneklemi için çalışma karakteristik değerlerinin bazıları ile ilişkilendirilebilir. Bu, şanstan yararlanma sorunudur.
Potansiyel moderatör değişkenler arasında sıralama yapıldığından, bazı çalışma özellikleri, örnekleme hatalarıyla yüksek bir korelasyona sahip olabilir. Bu değişken daha sonra güçlü bir moderatör değişkeni gibi görünecektir. Az sayıda çalışma içeren bir meta-analiz için, şansa dayalı kapitalizasyon sorununa istatistiksel bir çözüm yoktur. İyi teorilere sahip bir araştırma alanında olası bir çözüm vardır.
İlk önce yalnızca diğer araştırmalar tarafından iyi desteklenen iyi bir teori tarafından tahmin edilen moderatör değişkeni test edin. Bu değişken etki boyutunu hafifletmiyorsa, kalan tüm potansiyel moderatörleri çok büyük bir tuz tanesiyle tedavi edin. Keşfedilen moderatör değişkenini destekleyen bir teori varsa, araştırmacı bu teorinin bağımsız bir şekilde doğrulanıp doğrulanmadığını görmek için literatürü kontrol etmelidir. Bu noktanın daha fazla tartışması için Bölüm 2’nin son kısmına bakınız.
Çalışılmış Bir Örnek: Uzmanların Eğitimine Karşı Yöneticilerin Eğitimi
Jim Russell, tezinde, süpervizörlerin kişilerarası beceriler konusunda eğitiminin dış uzmanlar tarafından değil, kendi yöneticileri tarafından yapılması gerektiği hipotezini test etti. Bu fikir, yöneticiler denetçiler için rol modeli olarak hareket ettikleri için, denetçilerin, dış uzmanlar tarafından önerilenlerden çok yöneticiler tarafından önerilen prosedürlerle özdeşleşme olasılığının çok daha yüksek olduğu önermesinden türetilmiştir.
Fruitloop tarafından yapılan varsayımsal kümülatif çalışmayı tekrar düşünün. Fruitloop, yöneticiler tarafından yapılan tüm çalışmaları “deneysel kontrolden yoksun” olduğu gerekçesiyle reddetti. Bu nedenle Fruitloop, yalnızca eğitimin uzmanlar tarafından verildiği çalışmaları analiz etti. Bunun yerine tüm çalışmaların analiz edildiğini varsayalım. Sonuçlar görünebilir. Bu çalışma koleksiyonunda, 10’dan sadece 3’ünün önemli etkileri var ve 10’dan 3’ü tam tersi yönde ilerliyor. Bu nedenle, geleneksel gözden geçirme uygulaması muhtemelen kişilerarası becerilerde eğitimin etkisinin en iyi ihtimalle sorunlu olduğu sonucuna varacaktır.
Hesaplama kolaylığı amacıyla, yine az sayıda çalışma içeren bir meta-analiz sunduk. Ortalama örneklem büyüklüğü 40 olan 10 çalışmadan oluşan bir set, yalnızca toplam örneklem büyüklüğü 400’ü temsil eder. Bu nedenle, meta-analizden elde edilen tahminlerde hala büyük bir potansiyel örnekleme hatası olacaktır. d ̄ için güven aralığı formülleri sunulmuştur.
Bu örnekte böyle bir örnekleme hatasıyla ilgilenmediğimiz için, 10 çalışma ile değil 100 çalışma ile benzer sonuçlar elde ettiğimizi varsayalım. Çalışma etki büyüklüğünün standart sapması .097’dir ve bu 0’dan belirgin şekilde büyüktür. .097’lik standart sapma da .30’luk bir ortalama etki büyüklüğüne göre büyüktür. Bununla birlikte, efekt boyutunun 0 olduğu herhangi bir ayar olduğunu önermek için yeterince büyük değildir. Efekt boyutundaki varyasyon normal olarak dağılmış olsaydı (bu örnekte aslında ikili olduğu ortaya çıkar), efekt boyutlarının orta %95’i olması gerekir.
Orta düzey Yönetici Eğitimleri
Liderlik eğitimi PDF
Üst Düzey Yönetici Eğitimleri
Çadem Psikoloji eğitimleri
Liderlik Eğitimleri
Çadem Psikoloji staj
Eğitimde Politika Analizi pdf
Bununla birlikte, bu, olası etkilerin geniş bir aralığıdır ve özellikle teorik temelli bir potansiyel moderatör önceden tanımlandığı için (yani yöneticilere karşı uzman eğitmenler) bir moderatör değişkeni araması doğrulanır.
Bu veri seti üzerindeki istatistiksel anlamlılık testinin performansını tekrar düşünün. 10 etki büyüklüğünden sadece 3’ü anlamlıydı. Yine de meta-analiz, tüm popülasyon etki büyüklüklerinin pozitif olduğunu göstermektedir. Dolayısıyla, bu örnekteki anlamlılık testi için (Tip II) hata oranı %70’tir. Ayrıca, gözlemlenen etki büyüklüklerindeki varyasyon çok büyük bir aralığı kapsıyordu: -.25 ile +.85 arasındadır.
Aslında meta-analiz, bu varyasyonun çoğunun örnekleme hatasından kaynaklandığını göstermektedir. Aslında .11 < δ < .49 aralığının dışında çok az değer bulunur. Öte yandan, sonuçlarda hala biraz değişkenlik var; bu nedenle, moderatör değişkenleri için bir arama yapılması tavsiye edilir.
Bu örnekte, moderatör meta-analizden önce varsayılmıştır. Böylece çalışmaları, eğitimin dışarıdan uzmanlar tarafından yapıldığı ve eğitimin yöneticiler tarafından yapıldığı çalışmalar olarak ayırdık. Alt küme içi meta analizler aşağıdaki gibidir.
Yine, az sayıda çalışmanın yalnızca hesaplama kolaylığı için tasarlandığını not ediyoruz. 10 değil, 1000 çalışma olduğunu, her türden 500 çalışma olduğunu varsayalım. Yani meta-analizin sonuçlarını, tahminlerde çok az örnekleme hatası varmış veya hiç yokmuş gibi yorumlayalım.
Bu örnekte çalışmaları eğitici türüne göre ayırmak moderatör etkisini iki şekilde göstermektedir. İlk olarak, ortalama etki büyüklükleri arasında büyük bir fark vardır: Uzmanlar tarafından verilen eğitim için Ort(d) = .20 ve yöneticiler tarafından verilen eğitimler için Ort(d) = .40. Ayrıca, eğitici tipine göre döküm, etki büyüklüğündeki (örnekleme hatası nedeniyle bunun ötesinde) neredeyse tüm varyasyonları ortadan kaldırır.
Bu nedenle, dışarıdan uzmanlar tarafından verilen eğitimin her zaman 0,20 standart sapma etkisi vardır, yöneticiler tarafından verilen eğitimin ise her zaman bu boyutun iki katı, 0,40 standart sapma etkisi vardır.
Etki büyüklükleri için normal bir dağılımın varsayılmasının, .11 ile .49 arasında %95’lik bir aralık ürettiğini, bu da çalışmaların %2.5’inin δ = .11’den düşük değerler üreteceğini ve çalışmaların %2.5’inin δ = ‘den daha yüksek değerler üreteceğini unutmayın. 49. Aslında, dağılım normal değildi. Bunun yerine, çalışmaların yarısının popülasyon etki büyüklüğü δ = .20 (dış uzman eğitmenleri olan) ve yarısının popülasyon etki büyüklüğü δ = .40 (yönetici eğiticileri olan) idi. Bu nedenle, normallik varsayımı, etki büyüklüklerinin gerçek yayılımını olduğundan fazla tahmin etmiştir.
Bu durumda, sadece bir moderatör vardı. Birden fazla moderatör olduğunda, moderatörler ilişkilendirilebilir ve bu nedenle, sırayla birer birer incelenirlerse kafaları karışır. Bu gibi durumlarda, bu tür kafa karışıklıklarından kaçınmak için moderatör analizini hiyerarşik olarak yürütmek önemlidir.