Çeşitli Araştırmalar
Çalışmalar arasında sonuçlarda büyük, gerçek farklılıklar varsa, yalnızca özet sonuca dayalı herhangi bir sonuç, belirli bir miktarda hata gerektirir. Bu, etkileşimleri veya moderatör etkilerini görmezden gelmenin bilinen sorunudur. Bununla birlikte, artefaktların neden olduğu varyasyon, var olmayan metodolojik ve asli moderatörlere atfedilirse, daha da büyük hatalar yapılabilir.
Örneğin, meta-analiz çağından önce, tanınmış bir psikolog, çeşitli araştırma alanlarındaki sonuçlardaki farklılıklar nedeniyle cesaretini o kadar kırmıştı ki, psikolojideki herhangi bir bulgunun bir nesilden diğerine geçmesinin pek olası olmadığı sonucuna vardı. her kohort, araştırma sonuçlarını değiştirecek bazı sosyal boyutlarda her zaman farklılık gösterecektir.
Böyle bir konum, örnekleme hatası varyansının ve diğer yapay varyansın somutlaştırılmasını yansıtır. Böyle bir şeyleştirme, yalnızca epistemolojik hayal kırıklığına değil, aynı zamanda, soruyu cevaplamak için yeterli veri mevcutken, çalışmaları sonsuz bir şekilde tekrarlamak için harcanan muazzam çabaya da yol açar.
Büyük bir düzeltilmiş standart sapma varsa, çalışmaları aralarındaki ilgili farklılıklar temelinde gruplara ayırarak çalışmalar arasındaki varyasyonu açıklamak mümkün olabilir. Bu döküm, çalışmaların kategorilere açık bir alt bölümü olabilir veya çalışma özelliklerinden çalışma sonuçlarını tahmin etmek için regresyon yöntemlerini kullanan örtük bir döküm olabilir.
Bunların her ikisi de ayrıntılı olarak ele alınacaktır. Ancak, bir sonraki bölümde böyle bir dökümün yalnızca önemli bir düzeltilmiş varyans varsa denenmesi gerektiğini göstereceğiz. Aksi takdirde, moderatör arayışı, örneklem hatalarının büyük harf kullanımı nedeniyle çalışmaların yorumlanmasına ciddi hatalar getirebilir.
Moderatör Analizinde Örnekleme Hatasında Kodlama Çalışması Özellikleri ve Büyük Harf Kullanımı
Meta-analiz süreci Glass ve arkadaşları tarafından bileşik bir süreç olarak tanımlandı: (1) çalışmalar arasında tanımlayıcı istatistiklerin kümülasyonu; (2) çalışma tarihi, iç geçerliliğe yönelik tehditlerin sayısı ve benzeri gibi belki de 50 ila 100 çalışma özelliğinin kodlanması; ve (3) çalışma sonucunun kodlanmış çalışma özellikleri üzerine regresyonu.
Bu tür kodlamalar, araştırma entegrasyon sürecinde işin %90 ila %95’ini oluşturabilir. Yine de bu kodlama işi tamamen boşa gidebilir. Örnekleme hatası ve diğer artefaktlar için düzeltmeler yaptığımız kendi araştırmamızda, bu düzeltmelerden sonra kalan çalışmalar arasında genellikle çok az kayda değer farklılıklar bulduk.
Diğer bir deyişle, örnekleme hatası ve diğer artefaktlar çıkarıldıktan sonra çalışma sonuçlarında genellikle önemli bir değişiklik olmadığı deneyimimize göre (çalışmalar arasında varyasyona neden olan tüm artefaktları düzeltmenin hiçbir zaman mümkün olmamasına rağmen). Bu gibi durumlarda, çalışma özellikleriyle gözlemlenen tüm korelasyonlar, az sayıda çalışma nedeniyle örnekleme hatasının kapitalizasyonunun sonucu olacaktır.
Örnekleme hatası dışında çok az varyasyon varsa, bağımlı değişken (çalışma sonucu: r veya d istatistiği) düşük güvenilirliğe sahiptir. Örneğin, korelasyonlardaki çalışma arası varyansın %90’ı yapaylıktan kaynaklanıyorsa, çalışma sonucu değişkeninin güvenilirliği yalnızca .10’dur ve bu nedenle herhangi bir çalışma özelliği ile çalışma sonucu arasındaki maksimum korelasyon .10’un karekökü olur.
Bu nedenle, çalışma özellikleri ve çalışma sonuçları arasında gözlemlenen büyük korelasyonlar, yalnızca örnekleme hatası nedeniyle meydana gelebilir. Çalışma özellikleri ile çalışma sonuç istatistikleri (rs veya d değerleri) arasında ilişki kurmak, istatistiksel olarak anlamlı olacak kadar büyük korelasyonlar ex post facto tanımlandığında, şans eseri büyük harf kullanımına yol açar.
Örnekleme hatası çok büyüktür çünkü bu analiz için örneklem büyüklüğü çalışmalardaki kişi sayısı değil, çalışma sayısıdır. Örneğin, gözlem olarak yalnızca 50 çalışma (mevcut meta-analizlerin tipik özelliği) ile çalışma sonucunun 40 çalışma özelliği (mevcut meta-analizlerin tipik özelliği) üzerine çoklu regresyonu, örnekleme hatası üzerinde büyük harf kullanımıyla 1.00 civarında bir çoklu korelasyona yol açacaktır. Gerçekten de, bazı çalışmalar çalışmalardan daha fazla çalışma özelliğine sahiptir, bu durumda çoklu korelasyonun fiat ile her zaman 1.00 olduğu bir durumdur.
Birçok meta-analiz aşağıdaki şekilde yapılır. Araştırmacılar, çalışma sonuçlarıyla en yüksek düzeyde ilişkili olan 5’i bulmak için önce 40 çalışma özelliğini inceler. Ardından, 5 tahmin edici için bir küçülme formülü (eğer kullanılıyorsa) kullanarak bu 5 ile çoklu regresyon kullanırlar.
Bununla birlikte, 40’tan en iyi 5’i seçmek, yaklaşık olarak 40 tahmin ediciden artan bir regresyon yapmakla aynıdır ve bu nedenle, büzülme formülünde 5 yerine 40 kullanılmalıdır. Çoğu durumda, uygun büzülme düzeltmesi, gerçek çoklu korelasyonun 0’a yakın olması.
Yyalnızca çalışma sonuçlarıyla en yüksek korelasyona sahip olan çalışma özellikleri korunduğunda ve regresyon analizine girildiğinde, şansa dayalı kapitalizasyon sorununun ne kadar ciddi olduğunu göstermektedir. Tablo 2.4, her çalışma karakteristiğinin çalışma sonuçlarıyla 0 bağıntılı olduğu ve tüm çalışma özelliklerinin birbiriyle 0 bağıntılı olduğu bir durumu göstermektedir.
Bu nedenle, tüm çoklu bağıntıların gerçek değeri 0’dır; tablodaki tüm çoklu korelasyonlar yalnızca örnekleme hatasında büyük harf kullanımıyla üretilir. Tipik bir örnek düşünün. Kodlanan çalışma özelliklerinin sayısının 20 olduğunu ve çalışma korelasyonlarıyla en yüksek korelasyona sahip 4’ünün tutulduğunu ve regresyon analizinde kullanıldığını varsayalım. Çalışma sayısı 100 ise, beklenen çoklu R .36’dır, bu da yüksek oranda “istatistiksel olarak anlamlı” bir değerdir (p = .0002)
60 çalışma varsa, sahte çoklu R ortalama olarak .47 olacaktır. Sadece 40 çalışma varsa, .58 olacaktır. Tablo 2.4’teki her hücrede gerçek çoklu R’nin 0 olduğunu unutmayın. Tablo 2.4’teki değerler ortalama değerlerdir; bunlar en büyük değerler değildir. Gözlemlenen çoklu R’lerin yaklaşık yarısı, Tablo 2.4’teki değerlerden daha büyük olacaktır.
20 çalışma özelliğinden 4’ünün korunduğu durum, bazı gerçek meta-analizleri temsil etmektedir. Ancak, daha fazla sayıda çalışma özelliği genellikle kodlanır; örneğin, 40 ila 50 özelliğin kodlanması olağandışı değildir. 40’ı kodlanır ve 4’ü korunursa, sahte çoklu R’nin 40 çalışma ile .68, 60 çalışma ile .55 ve 80 çalışma ile .48 olması beklenebilir.
Çoklu R’nin sahte bir şekilde büyük olmasının nedeni, korunan çalışma karakteristik korelasyonlarının (şans) örnekleme hatasında büyük harf kullanımı ile gerçek 0 değerlerinden yukarı doğru saptırılmasıdır. Örneğin, 60 çalışma varsa ve 40 çalışma özelliği kodlanmışsa ancak yalnızca ilk 4 korunuyorsa, tutulan 4’ün korelasyonu ortalama .23 olacaktır. Bu korunan özellikler daha sonra .55’lik sahte bir R çarpımı verir.