Eleştirilere Yanıt Olarak Meta-Analiz Yöntemlerinin Etkileri Çalışması
Glass’ın yöntemlerindeki bir varyasyon, Bangert-Drowns (1986) tarafından etüt etkileri meta-analizi olarak etiketlenmiştir. Glass’ın yöntemlerine yöneltilen eleştirilerden bazılarını ele almaya çalışır. Bu yöntemler Glass’ın prosedürlerinden birkaç yönden farklıdır.
İlk olarak, meta-analize her çalışmadan yalnızca bir etki büyüklüğü dahil edilir, böylece meta-analizde istatistiksel bağımsızlık sağlanır. Bir çalışmanın birden fazla bağımlı ölçümü varsa, aynı yapıyı değerlendirenler birleştirilir (genellikle ortalaması alınır) ve farklı yapıları değerlendirenler farklı meta-analizlere atanır. Bu adımlar, araştırmamızda izlediğimiz adımlara benzer.
İkincisi, bu prosedür, meta-analistin, çalışmanın metodolojik kalitesi hakkında en azından bazı yargılarda bulunmasını ve çalışma sonuçlarını çarpıtacak kadar ciddi olduğuna karar verilen eksiklikleri olan çalışmaları hariç tutmasını gerektirir. Örneğin, deneysel çalışmaları gözden geçirirken, deneysel tedavi, araştırma alanındaki uzmanlar tarafından uygun olduğuna karar verilenlere en azından benzer olmalıdır, aksi takdirde çalışma hariç tutulur.
Bu prosedür, bir araştırma alanının geniş bir Glassian resmini çizmekten ziyade, belirli bir tedavinin belirli bir sonuç (yapı) üzerindeki etkisini belirlemeye çalışır. Bu prosedürü geliştirmede ve kullanmada etkili olanlardan bazıları Mansfield ve Busse (1977), Kulik ve ortakları Landman ve Dawes (1982) ve Wortman ve Bryant’tır (1985).
Sadece Odaklanma Meta-Analiz Yöntemleri
Örnekleme Hatası Üzerine: Hedges Yöntemleri, Rosenthal Yöntemleri ve Çıplak Kemik Yöntemleri
Daha önce belirtildiği gibi, çok sayıda artefakt, çalışmalar arasında sonuçların aldatıcı değişkenlik göstermesine neden olur. Tipik olarak diğerlerinden daha fazla yanlış değişkenlik üreten yapı, örnekleme hatası varyansıdır. Glassian meta-analiz ve çalışma etkileri meta-analizi, örnekleme hatası varyansının ürettiği değişkenliği gerçek değişkenlik olarak kabul eder. Örnekleme hatası varyansını kontrol etmeye çalıştıkları için Glassian yöntemlerinin ötesine geçen iki tür meta-analiz vardır.
Homojenlik Testine Dayalı Meta-Analiz: Hedges Yöntemleri ve Rosenthal Yöntemleri
Bu yöntemlerden ilki homojenlik testi tabanlı meta-analizdir. Bu yaklaşım bağımsız olarak Hedges ve Rosenthal ve Rubin tarafından savunulmaktadır. Hedges (1982a) ve Rosenthal ve Rubin, çalışma sonuçlarının tek başına örnekleme hatasından beklenenden daha değişken olup olmadığına karar vermek için ki-kare istatistiksel testlerinin kullanılmasını önerdi.
Bu ki-kare homojenlik testleri istatistiksel olarak anlamlı değilse, popülasyon korelasyonu veya etki büyüklüğü çalışmalar arasında sabit kabul edilir ve moderatör aranmaz. Bir dizi çalışmadaki bulguların örnekleme hatası varyansından beklenenden daha fazla farklılık gösterip göstermediğini tahmin etmek için ki-kare homojenlik testlerinin kullanılması, orijinal olarak Snedecor tarafından önerildi.
Ki-kare homojenlik testi, örnekleme hatasının ötesindeki varyasyonu saptamak için tipik olarak düşük güce sahiptir. Bu nedenle, meta-analist genellikle incelenen çalışmaların homojen olmadığında homojen olduğu sonucuna varacaktır; yani meta-analist, aslında bu parametreler çalışmalar arasında farklılık gösterdiğinde, meta-analize dahil edilen tüm çalışmalarda ρxy veya δxy değerinin aynı olduğu sonucuna varacaktır.
Önemli bir sorun, bu koşullarda meta-analizin sabit etkiler modelinin hemen hemen tüm durumlarda kullanılmasıdır. Rastgele-etkiler meta-analiz modellerinden farklı olarak, sabit-etki modelleri, r ̄ veya d ̄ standart hatasını hesaplamada ρxy veya δxy’de çalışmalar arası değişkenliğin sıfır olduğunu varsayar, bu da ortalamanın ilgili standart hatalarının eksik tahmin edilmesine neden olur.
Bu da, r ̄ veya d ̄ etrafında hatalı bir şekilde dar olan, bazen de büyük miktarlarda olan güven aralıklarıyla sonuçlanır. Bu, meta-analiz bulgularının gerçekte olduğundan çok daha kesin olduğu konusunda hatalı bir izlenim yaratır. Bu sorun aynı zamanda r ̄ veya d ̄ üzerinde yürütülen tüm anlamlılık testlerinde Tip I sapmalara neden olur ve bu sapmalar genellikle oldukça büyüktür.
Bu sorunun bir sonucu olarak, Ulusal Araştırma Konseyi (1992) veri entegrasyonu raporu, sabit etkili modellerin bu sorundan etkilenmeyen rastgele etki modelleriyle değiştirilmesini tavsiye etti. Biz de bu tavsiyede bulunduk.
Bununla birlikte, Rosenthal-Rubin yöntemlerini ve Hedges-Olkin yöntemlerini kullanan yayınlanmış meta-analizlerin çoğu, sabit etki modellerini kullanmıştır. Örneğin, Bölüm 5 ve 9’da belirtildiği gibi, Psikoloji Bülteni’nde yer alan meta-analizlerin çoğu, sabit etkiler meta-analizleridir. Bu analizlerin çoğu Hedges-Olkin (1985) sabit etkiler meta-analiz modelini kullanmıştır.
Hem Rosenthal, hem Rubin, hem Hedges ve Olkin, rastgele-etkiler meta-analiz modellerinin yanı sıra sabit-etkiler yöntemlerini de sundular, ancak meta-analistler, rastgele-etki yöntemlerini nadiren kullandılar. Bu kitapta sunulan yöntemlerin tümü rastgele etki yöntemleridir.
Hedges (1982b) ve Hedges ve Olkin (1985), anlamlılık testine dayalı moderatör analizi için daha genel bir prosedür geliştirmek için homojenlik testleri kavramını genişletti. Genel ki-kare istatistiğini grup içi ve gruplar arası ki-karelerin toplamına bölmeyi gerektirir. Meta-analizdeki orijinal etki büyüklükleri seti, alt gruplar içindeki ki-kare istatistikleri önemsiz olana kadar, ardışık olarak daha küçük alt gruplara bölünür; bu, örnekleme hatasının son alt grup kümesindeki tüm varyasyonu açıklayabileceğini gösterir.
Homojenlik testine dayalı meta-analiz, başlangıçta araştırma literatürünün istatistiksel anlamlılık testlerine dayanmasından anlam çıkarmada büyük zorluklara yol açan uygulamaya geri dönüşü temsil eder. Daha önce belirtildiği gibi, ki-kare testi tipik olarak düşük güce sahiptir.
Düşük güç koşulları altında önem testlerine güvenmenin tehlikelerine karşı uyarıldı. Bu uyarıyı meta-analiz yapanlara değil, birincil araştırma yapanlara yöneltmişler ama her iki durumda da aynı şekilde geçerlidir.) Bir diğer sorun da ki-kare testinin Tip I yanlılığa sahip olmasıdır.
Sıfır hipotezleri altında, ki-kare testi, çalışma sonuçlarındaki (örneğin, rs veya ds) tüm çalışmalar arası varyansın örnekleme hatası varyansı olduğunu varsayar; ancak etki büyüklüklerinde çalışmalar arasında tamamen yapay başka varyans kaynakları vardır. Daha önce tartışıldığı gibi, bunlar hesaplama, transkripsiyon ve diğer veri hatalarını içerir; ölçüm güvenirliği ve menzil kısıtlama seviyelerinde çalışmalar arasındaki farklar; ve diğerleri.
Bu nedenle, gerçek çalışma etki büyüklükleri çalışmalar arasında aslında aynı olsa bile, bu yapay varyans kaynakları örnekleme hatasının ötesinde varyans yaratacak ve bazen ki-kare testinin anlamlı olmasına ve dolayısıyla etki büyüklüklerinin heterojenliğini yanlış bir şekilde göstermesine neden olacaktır. Bu, özellikle çalışmaların sayısı fazla olduğunda olasıdır ve bu tür yapay varyansların küçük miktarlarını saptamak için istatistiksel gücü artırır.
Diğer bir problem ise, örnekleme hatasının ötesindeki varyans yapay olmadığında bile, genellikle büyüklük olarak küçük olacak ve teorik veya pratik önemi çok az olacak veya hiç olmayacak. Hedges ve Olkin (1985) bu gerçeği fark etti ve araştırmacıların yalnızca anlamlılık düzeylerine bakmamaları, aynı zamanda varyansın gerçek boyutunu değerlendirmeleri gerektiği konusunda uyardı; ne yazık ki, araştırmacılar anlamlılık testlerine bir kez kapıldıktan sonra, genel uygulama, istatistiksel olarak anlamlıysa bunun önemli olduğunu varsaymaktır (ve değilse, 0’dır). Ana odak önem testlerinin sonuçları olduğunda, etki büyüklükleri genellikle göz ardı edilir.