Meta-Analiz ve Sosyal Politika
Meta-analiz, toplumsal olarak önemli sorulara mevcut en iyi ampirik temelli yanıtları sağlayarak, kamu politikası yapımını etkileyebilir. Bu, bugün hemen hemen tüm politika sorularını içeren ilgili bir araştırma literatürünün bulunduğu herhangi bir kamu politikası sorusu için doğru olabilir. Örnekler Head Start programından ikili kimyasal silahlara kadar uzanmaktadır.
Yakın zamanda kurulan ve daha önce açıklanan Campbell İşbirliğinin amacı, özellikle politikayla ilgili araştırma literatürlerine meta-analiz uygulayarak hükümetlerdeki ve diğer kuruluşlardaki politika yapıcılara politikayla ilgili bilgiler sağlamaktır. ABD Kongresi’nin bir araştırma ve değerlendirme kolu olan ABD Genel Muhasebe Ofisi (GAO), 20 yılı aşkın bir süredir, senatörler ve temsilciler tarafından sorulan sorulara yanıt sağlamak için meta-analizi kullanmıştır.
Örneğin Hunt, yoksul hamile kadınlar için federal bir beslenme programı olan Kadınlar, Bebekler ve Çocuklar (WIC) programının etkilerine ilişkin bir GAO meta-analizinin, görünüşe göre Senatör Jesse Helms’in fikrini nasıl değiştirdiğini ve onu (isteksiz biri) yaptığını açıkladı. ) programın destekçisi. Meta-analiz, programın düşük doğum ağırlıklı bebeklerin sıklığını yaklaşık %10 oranında azalttığına dair kanıtlar buldu.
Bu meta-analiz, GAO’nun Program Değerlendirme ve Metodoloji Bölümü’nün yıllardır yöneticisi olan Eleanor Chelimsky tarafından Senatör Helms’e sunuldu. Bu pozisyonda, GAO’da meta-analiz kullanımına öncülük etti. Chelimsky (1994), meta-analizin, Kongre’nin dayattığı zaman baskısı altında yakın inceleme altında tutulabilecek en geniş araştırma sonuçlarını Kongre’ye sağlamanın mükemmel bir yolu olduğunu kanıtlamıştır.
GAO’nun meta-analizin belirli bir konu alanında hem bilinenleri hem de bilinmeyenleri ortaya çıkardığını ve gerçek ile görüşü “çatışmacı olmadan” ayırt ettiğini bulduğunu belirtti. Örnek olarak bahsettiği bir uygulama, ikili kimyasal silah üretmenin esasları üzerine yapılan çalışmaların bir meta-analiziydi (bu iki temel bileşenin, gaz kullanılana kadar güvenlik için ayrı tutulduğu sinir gazı).
Meta-analiz bu tür silahların üretimini desteklemedi. Savunma Bakanlığı’nın (DOD) duymak istediği bu değildi ve DOD, metodolojiye ve sonuçlara itiraz etti. Ancak metodoloji yakın inceleme altında tutuldu ve sonunda Kongre bu silahlar için fonları ortadan kaldırdı.
Yasaya göre, Kongre’ye politikayla ilgili araştırma bilgilerini sağlamak GAO’nun sorumluluğundadır. Dolayısıyla, GAO tarafından meta-analizin benimsenmesi, meta-analizin kamu politikası üzerindeki etkisinin açık bir örneğidir. Çoğu politika kararı, muhtemelen bilimsel düşünceler kadar politik düşüncelere de bağlı olsa da, bilimsel düşüncelerin meta-analiz yardımıyla bir etkisi olması mümkündür.
Sosyal bilimlerde meta-analiz
Meta-Analiz kitap PDF
CMA meta-analiz programı indir
Psikometrik meta-analiz
Network meta-analiz
Meta-analiz programları
Meta-analiz çalışmalarının sonucunda elde edilen istatiksel değeri ifade eden kavram
Meta-Analiz ve Veri Teorileri
Her meta-analiz yöntemi, zorunlu olarak bir veri teorisine dayanır. Ortaya çıkan meta-analiz yöntemlerinin doğasını belirleyen bu veri teorisidir (veya anlaşılmasıdır). Eksiksiz bir veri teorisi, örnekleme hatası, ölçüm hatası, önyargılı örnekleme (menzil kısıtlaması ve menzil geliştirme), dikotomizasyon ve etkileri, veri hataları ve araştırma çalışmalarında gördüğümüz ham verileri çarpıtan diğer nedensel faktörlerin anlaşılmasını içerir.
Bu faktörlerin verileri nasıl etkilediğine dair teorik bir anlayış geliştirildiğinde, etkilerini düzeltmek için yöntemler geliştirmek mümkün hale gelir. Psikometri dilinde, ilk süreç – bu faktörlerin (eserlerin) verileri saptırdığı süreç – zayıflama modeli olarak modellenir.
Bu artefakt kaynaklı önyargıları düzeltme sürecine yönelik ikinci işleme, zayıflama modeli adı verilir. Bir meta-analiz modeli yönteminin dayandığı veri teorisi eksikse, bu yöntem bu yapaylıkların bir kısmı veya tamamı için düzeltme yapamayacak ve dolayısıyla yanlı sonuçlar üretecektir. Örneğin, ölçüm hatasını fark etmeyen bir veri teorisi, ölçüm hatasını düzeltmeyen meta-analiz yöntemlerine yol açacaktır. Bu tür yöntemler daha sonra zorunlu olarak önyargılı meta-analiz sonuçları üretecektir. Bazı güncel meta-analiz yöntemleri aslında ölçüm hatasını düzeltmez.
Örnekleme hatası ve ölçüm hatası, meta-analizin ilgilenmesi gereken istatistiksel ve ölçüm artefaktları arasında benzersiz bir konuma sahiptir: Bunlar her zaman tüm gerçek verilerde bulunurlar. Menzil kısıtlaması, sürekli değişkenlerin yapay olarak ikiye ayrılması veya veri transkripsiyon hataları gibi diğer artefaktlar, meta-analize tabi tutulan belirli bir dizi çalışmada bulunmayabilir.
Ancak her zaman örnekleme hatası vardır, çünkü örnek boyutları asla sonsuz değildir. Aynı şekilde, her zaman ölçüm hatası vardır, çünkü tamamen güvenilir ölçümler yoktur. Aslında, daha sonraki bölümlerde göreceğimiz gibi, nispeten basit meta-analizlerin bile karmaşık görünmesini sağlayan, hem örnekleme hatası hem de ölçüm hatası ile aynı anda ilgilenme zorunluluğudur. Bu iki tür hatayı ayrı ayrı ele almaya alışkınız.
Örneğin, psikometrik metinler ölçüm hatasını tartışırken, sonsuz (veya çok büyük) bir örneklem boyutu varsayıyorlar, böylece dikkat odağı, aynı anda örnekleme hatasıyla uğraşmaya gerek kalmadan yalnızca ölçüm hatası üzerinde olabilir. Benzer şekilde, istatistik metinleri örnekleme hatasını tartışırken, onlar ve okuyucunun yalnızca örnekleme hatasına odaklanabilmeleri için örtük olarak mükemmel güvenilirliği (ölçüm hatasının yokluğu) varsayıyorlar.
Her iki varsayım da gerçekçi değildir çünkü tüm gerçek veriler aynı anda her iki tür hatayı da içerir. Her iki tür hatayı aynı anda ele almak kuşkusuz daha karmaşıktır, ancak başarılı olmak için meta-analizin yapması gereken budur.
Bir meta-analiz yönteminin altında hangi veri teorisinin yattığı sorusu, meta-analizin genel amacının ne olduğu sorusuyla güçlü bir şekilde ilişkilidir. Glass, amacın sadece bir araştırma literatüründeki çalışmaları özetlemek ve açıklamak olduğunu belirtti. Bu kitapta göreceğimiz gibi, bizim görüşümüz (alternatif görüş), amacın popülasyondaki yapı düzeyindeki ilişkileri mümkün olduğunca doğru bir şekilde tahmin etmek olduğudur (yani, popülasyon değerlerini veya parametrelerini tahmin etmek), çünkü bunlar ilişkilerdir.
Bu tamamen farklı bir görevdir; bu, tüm çalışmalar mükemmel bir şekilde yürütülmüş olsaydı (yani, metodolojik sınırlamalar olmadan) bulguların ne olacağını tahmin etme görevidir. Bunu yapmak, çalışma sonuçlarını bozan örnekleme hatası, ölçüm hatası ve (varsa) diğer artefaktların düzeltilmesini gerektirir. Literatürdeki çalışmaların içeriklerini basitçe tanımlamak, bu tür düzeltmeler gerektirmez, ancak bilimsel ilgi parametrelerinin tahmin edilmesine izin vermez.
Rubin (1990) meta-analizin amacına ilişkin yaygın, tanımlayıcı kavramı eleştirdi ve bu kitapta sunulan alternatifi önerdi. Bilim adamları olarak, kendi başına kusurlu çalışmaların popülasyonuyla gerçekten ilgilenmediğimizi ve bu nedenle bu çalışmaların doğru bir açıklaması veya özetinin gerçekten önemli olmadığını belirtti. Bunun yerine, meta-analizin amacının, “sonsuz büyüklükte, mükemmel tasarlanmış bir çalışmada veya bu tür çalışmaların dizisinde elde edilecek sonuçlar” olarak tanımlanan gerçek etkileri veya ilişkileri tahmin etmek olması gerektiğini savundu.
Rubin’e göre, Bu görüş altında, bu sonlu popülasyonu (gözlemlenen çalışmaların) özetlemeye bilimsel olarak gerçekten önem vermiyoruz. Altta yatan bilimsel süreci gerçekten önemsiyoruz, yanılabilir araştırmacılar olarak kusurlu ampirik çalışmaların opak penceresinden bir bakış atmaya çalıştığımızı gördüğümüz bu sonuçları üreten altta yatan süreci gerçekten önemsiyoruz. Bu, gördüğümüz ve bu çalışmada sunulan yöntemlerde somutlaştırılan meta-analizin amacının mükemmel bir özetidir.