d Değerlerinde Örnekleme Hatası: Çizimler
Bir argüman yoğun bir dille ifade edildiğinde mi yoksa argo bir dille mi söylendiğinde daha etkili olur? Hamilton ve Hunter (1987) tarafından yapılan bir meta-analiz, tutum değişikliğindeki farkın yaklaşık .20 standart sapma (yani, d = .20 veya r = .10) olduğunu ve güçlü dili desteklediğini gösterdi. Bunun, varsayımsal bir meta-analizdeki tüm çalışmalar için d istatistiğinin popülasyon değeri olduğunu varsayalım. İnceleme verileri nasıl görünür? Bu, toplanan çalışmalarda kullanılan örneklem boyutlarına bağlıdır.
Basitlik için, tüm çalışmaların tam olarak aynı örnek boyutunu kullandığını varsayalım. Çalışma sonuçları yaklaşık olarak Tablo 6.1’deki gibi dağıtılacaktır. (Not: Tablo 6.1’deki dağılımlar, tekrarlanan çalışmalar için örnekleme dağılımıyla tam olarak eşleşir. Gerçek bir 19 çalışma meta-analizi, bu dağılımdan bir şekilde ayrılan değerleri bulabilir çünkü gözlemlenen 19 örnekleme hatası, örnekleme hatalarının popülasyon dağılımıyla tam olarak eşleşmeyecektir.)
Durum 1: N = 30
Her çalışmada toplam 30 örneklem büyüklüğü (her grupta 15 denek) ile 19 çalışma yapıldığını varsayalım. Çalışmanın tedavi etkileri Tablo 6.1’in ilk sütunu olarak kendilerini dağıtacaktır. Çalışmalardan altısı, olumsuz gözlemlenen tedavi etkilerine sahip olacaktı. Bu çalışmaların yazarları, yoğun dilin verimsiz olduğuna ve ikna edici etkiyi azalttığına inanacaktır.
Öte yandan, altı çalışma, d = .40 veya daha fazla, ders kitabı örnekleri kadar büyük etkilerin tedavi etkilerini bulurdu. Bu yazarlar, yoğun dilin bilinen en güçlü ikna edici etkenlerden biri olduğuna inanırlar. Her iki yazar grubu da yanlış olur. Yalnızca Çalışma 10 – medyan çalışma – tüm çalışmaların gerçek popülasyon değeri olan d = .20 etki büyüklüğüne sahiptir.
Araştırmayı gözden geçirmenin klasik ancak kaba bir yöntemi, tahmin edilen yöndeki araştırmaların sayısını saymaktır. Bu sayı 19 üzerinden 13’tür. Bu, önemli ölçüde olmasa da (bir binom testi kullanılarak) tesadüfen beklenen 19 üzerinden 9,5’ten fazladır.
Bununla birlikte, 19 yerine 190 çalışma olsaydı, tahmin edilen yönde beklenen çalışma sayısı 130/190 olurdu, bu da şans eseri beklenen 95’ten önemli ölçüde daha fazladır. Bu nedenle, tahmin edilen yöndeki çalışmaların sayısı, yoğunluğun iknayı şanstan daha fazla artırdığını gösterecektir. Bununla birlikte, yoğunluğun zamanın %32’sinde ters yönde hareket ettiğini yanlış bir şekilde ileri sürer.
İstatistiksel anlamlılık testi, örnekleme hatasının etkisini azaltmak için tasarlanmıştır. Sıfır hipotezi doğru olduğunda, çıkarım hatalarını %5’e indirmelidir. Bu örnekte geleneksel anlamlılık testi nasıl yapılır? Bu anlamlılık testini yapmanın iki yolu vardır. Her bir çalışma varyans analizi kullanılarak analiz edilmiş olsaydı, iki uçlu bir anlamlılık testi kullanılarak analiz edilecekti ve sadece d = .80 olan çalışma anlamlı olacaktı. Yani, varyans analizi, yalnızca bir çalışma için doğru çıkarımı, 18/19 hata oranı veya %95’i verir. Yani, iki kuyruklu anlamlılık testi için hata oranı bu örnekte %5 değil %95’tir.
Evreni bilinen örneklem hesaplama formülü
Kolayda örnekleme Nedir
Kota örnekleme
Amaçlı örnekleme
Evreni bilinen örneklem HESAPLAMA motoru
Nicel araştırmalarda örneklem seçimi
Örneklem büyüklüğü hesaplama
Uygun Örnekleme nedir
Veriler t testi kullanılarak analiz edilmiş olsaydı, yazarların tek kuyruklu bir test yapma seçeneği olurdu. Tek kuyruklu bir test için, Çalışma 1 ve 2’nin her ikisinin de önemli tedavi etkileri vardır. Bu nedenle, bu anlamlılık testi, 19 çalışmanın sadece 2’si için doğru bir çıkarım, 17/19 hata oranı veya %89’luk bir sonuç verir. Dolayısıyla tek kuyruklu bir t testi için bu örnekte hata oranı %5 değil %89’dur.
Bu örnekte, iki kuyruklu test (geleneksel varyans analizi) 19 çalışmanın yalnızca 1’inde doğrudur. Tek kuyruklu test, iki kuyruklu testin gücünü iki katına çıkaran 19 çalışmanın 2’sinde doğrudur. Bununla birlikte, her iki durumda da hata oranı, çoğu insanın istatistiksel anlamlılık testi için hata oranı olduğuna inandığı %5’lik hata oranından çok daha yüksektir.
Hata oranı neden %5’ten yüksek? Geleneksel istatistiksel anlamlılık testi, δ = 0’lık bir nihilist boş hipotezi varsayar. Boş hipotez doğru olsaydı, hata oranı sadece %5 olurdu. Ancak, bu araştırma alanı için boş hipotez yanlıştır (çoğu araştırma alanında olduğu gibi) ve bu nedenle hata oranı %5 ile sınırlı değildir, ancak daha yüksek olacaktır. Bu örnekte hata oranı, teorik maksimum hata oranına yakın olan %89’a (tek kuyruklu test) veya %95’e (iki kuyruklu test) yükseldi.
Tablo 6.1’deki gibi çalışma sonuçlarıyla karşı karşıya kalan bir gözden geçirenin durumunu düşünün. Gözden geçiren kişi sonuçları beklenen yönde sayarsa, beklenen yönde sonuçların zayıf bir göstergesi vardır. Çalışmaların yaklaşık üçte birinin yanlış yöne gittiği doğrudur, ancak bu, sosyal psikolojide klasik ders kitabı etkileri kadar büyük etkileri olan çalışmaların üçüncüsü tarafından dengelenmektedir.
Bu gözden geçiren kişi muhtemelen yoğun dilin çoğu zaman daha ikna edici olduğu sonucuna varacaktır, ancak bilinmeyen nedenlerle yoğun dilin ters etki yaptığı bazı ortamlar olduğu konusunda uyaracaktır. Bu, verilerin yanlış bir yorumu olacaktır.
Gözden geçirenin, tedavi etkilerinin boyutunu göz ardı ettiğini ve iki uçlu bir test kullanarak yalnızca önemli bulguların sayısını dikkate aldığını varsayalım.
Bu gözden geçiren kişi, neredeyse kesinlikle, dil yoğunluğunun ikna edicilik üzerinde hiçbir etkisi olmadığı sonucuna varacaktır. Bu da yanlış bir sonuç olur. İronik olarak, daha “sofistike” yöntem olan anlamlılık testini kullanan gözden geçiren kişi, ham sonuçlara safça bakan gözden geçirenden bile daha temelden uzaktır.
Gözden geçirenlerin çıkarımlarının daha fazla veriyle somut olarak gelişmeyeceğini unutmayın. Çalışmaların sayısı 19’dan 190’a yükselseydi, tek kuyruklu bir testle anlamlı sonuçlara sahip çalışmaların sayısı 2’den 20’ye yükselirdi. Ancak, anlamlı bulguların oranı yine aynı olurdu, 20/190 = 2/ 19. Bu nedenle, anlamlılık testine dayanan bir gözden geçiren kişi, 10 kat daha fazla veri olmasına rağmen yine de aynı yanlış sonuçlara varacaktı.
Göreceğimiz gibi, bu kitapta sunulan meta-analiz yöntemi bu verileri doğru bir şekilde ele alacaktır. Bu yöntem, N = 19(30) = 570 toplam örneklem büyüklüğü kullanılarak kalan örnekleme hatası içinde ortalama tedavi etkisinin δ = .20 olacağını tahmin eder. 190 çalışma olsaydı, ortalama etki büyüklüğünü tahmin etme hatası N ̄ = 190(30) = 5.700 toplam örneklem büyüklüğü ile sola düşer. Gittikçe daha fazla çalışma mevcut hale geldikçe, bu meta-analiz yöntemi daha az hataya sahiptir. Bu yöntem ayrıca, gözlemlenen çalışma etkilerindeki varyansın tamamının veya neredeyse tamamının örnekleme hatasından kaynaklandığı sonucuna varabilirdi.
Bu örnek çok mu uzak? Dil yoğunluğu için tedavi etkisinin boyutu, gerçek çalışmalarda bulunanla aynıdır. Öte yandan, N = 30 örneklem büyüklüğü gerçek çalışmalardan daha düşüktür (N ̄ = 56). Ancak, örneklem büyüklüğü bu kadar düşük olan önemli araştırma alanları vardır.
Örneğin, Allen, Hunter ve Donahue (1988), psikoterapinin utangaçlık ve topluluk önünde konuşma korkusu sorunları üzerindeki etkisi üzerine bir meta-analiz yaptılar. Sistematik duyarsızlaştırmanın kullanıldığı çalışmalarda ortalama örneklem büyüklüğü 23’tü. Akılcı-duygusal terapinin kullanıldığı çalışmalarda ortalama örneklem büyüklüğü sadece 19’du.