Tekrarlar
İşlemsel bir tekrarda, farklı bir araştırmacı orijinal çalışmayı kopyalamaya çalışır. Sistematik tekrarlamada, ikinci bir araştırmacı, orijinal çalışmanın birçok özelliğinin korunduğu ancak bazı yönlerin (örneğin, denek türleri) değiştirildiği bir çalışma yürütür. Değişmez ve işlemsel tekrarlar, bulguların dış geçerliliğine (genelleştirilebilirliğine) yalnızca sınırlı bir şekilde katkıda bulunur, ancak sistematik tekrarlar, bulguların farklı türdeki denekler, ölçümler vb. genelinde genellenebilirliğini değerlendirmede faydalıdır.
Son olarak, yapıcı tekrarlar durumunda, araştırmacı, konu türü, ölçümler ve manipülasyonlar dahil olmak üzere ilk çalışmanın yöntemlerinin çoğu yönünü değiştirmeye çalışır. Başarılı yapıcı tekrarlama, bir bulgunun dış geçerliliğine büyük ölçüde katkıda bulunur.
Büyük bir çalışmayı “parçalara” bölmek, birkaç küçük gerçek kopya oluşturmaya benzer ve bulguların dış geçerliliğine veya genellenebilirliğine pek katkıda bulunmaz. Ancak çok sayıda küçük çalışmanın meta-analizinde, meta-analizdeki çalışmalar birbirinin sistematik veya yapıcı tekrarlarını oluşturur; yani, birçok çalışma yönü çalışmalar arasında farklılık gösterir.
Bu koşullarda, küçük bir SDρ (veya küçük bir SDδ) bulgusu, genellenebilirlik için güçlü bir destek sağlar, yani bu sonuç, bulgunun dış geçerliliğinin güçlü bir kanıtıdır. Meta-analizdeki çalışmaların sayısı azsa, her çalışma büyük örneklemli bir çalışma olsa bile meta-analiz daha zayıftır çünkü nihai sonuçların altında yatan sistematik veya yapıcı tekrarların sayısı daha azdır ve dolayısıyla dış geçerlilik daha şüphelidir. Bu, çok sayıda küçük çalışmanın neden az sayıda büyük çalışmadan daha iyi olduğunu anlamak için başka bir yaklaşımdır.
Meta-Analiz Gerekliliği
Son olarak, yürütülen tüm çalışmalar büyük örneklemli çalışmalar olsa bile, çalışmaların bir bütün olarak anlamını belirlemek için bulguları çalışmalar arasında bütünleştirmek hala gereklidir. Meta-analiz, bunu yapmak için istatistiksel olarak en uygun yöntem olduğundan, meta-analiz hala gereklidir.
Eleştirdiğimiz pozisyonun savunucuları, meta-analizin artık gerekli olmayacağı sonucuna varırken, yüksek istatistiksel güçleriyle büyük-N çalışmalarının istatistiksel anlamlılık testleri üzerinde anlaşma göstereceği gerçeğini düşünüyor görünmektedir: etkisi, tüm çalışmalar istatistiksel olarak anlamlı olarak algılamalıdır.
Ancak bu, meta-analizin gereksiz olduğu anlamına gelmez. Önemli olan etki büyüklüğü büyüklüklerinin tahmin edilmesidir. Etki büyüklüğü tahminleri çalışmalar arasında farklılık gösterecektir ve bu bulguları çalışmalar arasında bütünleştirmek için meta-analiz hala gereklidir. Dolayısıyla meta-analiz ihtiyacından kaçamayız.
Bu nedenle, daha az sayıda daha büyük N çalışmasına geçişin, herhangi bir araştırma alanındaki kümülatif bilginin ilerlemesine katkıda bulunmayacağı sonucuna vardık. Aslında, bilgi üretimi ve keşfi için zararlı olacaktır.
İkinci Dereceden Örnekleme Hatası: Teknik İşlem
Bu bölüm, meta-analizde ikinci dereceden örnekleme hatası ve istatistiksel gücün daha teknik ve analitik bir tedavisini sunar. Sunumu basitleştirmek adına, sonuçlar “çıplak” meta-analizler, yani oluşan tek artefakt örnekleme hatası olan ve düzeltme yapılan meta-analizler için sunulmaktadır. Ancak ilkeler, bu çalışmada sunulan daha eksiksiz meta-analiz biçimleri için geçerlidir.
Bir meta-analiz çok sayıda çalışmaya dayanıyorsa, meta-analitik tahminlerde çok az örnekleme hatası vardır. Ancak, meta-analiz sadece az sayıda çalışmaya dayanıyorsa, ortalamaların ve standart sapmaların meta-analitik tahminlerinde örnekleme hatası olacaktır.
Buna ikinci dereceden örnekleme hatası denir. Potansiyel olarak iki tür ikinci mertebe örnekleme hatası vardır: birincil çalışmalarda tam olarak ortalamalanmamış örnekleme hatasından kaynaklanan örnekleme hatası ve çalışmalar arasında etki büyüklüklerindeki varyasyondan kaynaklanan örnekleme hatası. Birincil çalışmalardan çözülmemiş örnekleme hatasına “ikincil ikinci dereceden örnekleme hatası” veya kısaca “ikincil örnekleme hatası” diyeceğiz.
Etki boyutlarındaki değişiklikten dolayı örnekleme hatası diyeceğiz birincil ikinci dereceden örnekleme hatası.” Tablo 9.1, iki tür ikinci dereceden örnekleme hatasının meydana geldiği durumları göstermektedir. Bu tablonun anahtarı, popülasyonda homojen veya heterojen bir duruma sahip olup olmadığımızdır. Homojen durumda, popülasyonda ρ veya δ’de bir varyans yoktur. Heterojen durumda, ρ veya δ popülasyon değerleri değişir.
Bölüm 5’te ve bu bölümün başlarında sabit ve rastgele etkiler meta-analiz modellerinin tartışmasında belirttiğimiz gibi, heterojen durum gerçek verilerde çok daha yaygındır. Çalışma grubunun homojen veya heterojen olmasına bakılmaksızın, her zaman ikincil ikinci dereceden örnekleme hatası olduğuna dikkat edin.
Bunun nedeni, gerçek veri kümelerinde, ikincil ikinci dereceden örnekleme hatasını tamamen ortadan kaldırabilecek tek koşul olan çalışmaların sayısının sonsuz olması veya tüm çalışmaların sonsuz örnek boyutuna sahip olması asla söz konusu değildir. Ancak, birincil ikinci dereceden örnekleme hatası yalnızca heterojen durumda ortaya çıkar.
Yani, ρ veya δ’de varyans olduğunda, bireysel çalışmalarda belirli ρi veya δi değerlerinin örneklenmesiyle birincil ikinci dereceden örnekleme hatası üretilecektir. Bu homojen durumda olamaz, çünkü farklı ρ veya δ değerleri örneklenemez, çünkü tüm çalışmalarda yalnızca tek bir ρ veya δ değeri vardır. Bununla birlikte, gerçek verilerde homojen durum nadir olduğu için, gerçek meta-analizlerde tipik olarak her iki tür ikinci mertebeden örnekleme hatası olacaktır. Yani, tipik gerçek dünya meta-analizleri, en alt sıraya girer.
Basit olması için, d istatistiğinin analizleri için aşağıdaki tartışma yazılacaktır, ancak korelasyonlara veya diğer istatistiklere dayalı analizler, çalışmaların sayısı fazla olmadığında da ikinci dereceden örnekleme hatasına tabidir. Özellikle, korelasyonlar için ikinci dereceden örnekleme hatası, d değerleri için olana doğrudan benzerdir.
İkincil örnekleme hatasını düşünün. Meta-analitik tahminler ortalamalardır. Böylece, bireysel çalışmalardaki örnekleme hatasının, çalışmalar arasında ortalaması alınır. Yeterli çalışmanın ortalaması alınırsa, ortalama örnekleme hatası etkileri tam olarak hesaplanabilir ve dolayısıyla tam olarak düzeltilebilir hale gelir. Bununla birlikte, çalışmaların sayısı küçükse, ortalama örnekleme hatası etkileri yine de kısmen rastgele olacaktır.
Çalışmaların sayısı büyükse, çalışmalar arasındaki ortalama örnekleme hatası, Ave(e), popülasyon değeri olan 0’a eşit olacaktır. Yani, çok sayıda belirli örnekleme hatasının ortalamasını alırsak, örnekleme hataları birbirini götürür. tam olarak ve ortalama 0 verir.