Blog

Yayınlanan Çalışmalar Anketlerdeki sorular, anlamlı ve önemsiz çalışma sonuçları açısından ifade edilmiştir. Esasen, (a) çalışma yalnızca bir hipotezi test ederse (bugün nadir görülen bir olaydır) ve sonuç ya anlamlı ya da önemsiz ise veya (b) birden fazla hipotez test edilmişse, bir araştırmacının, gözden geçirenin veya editörün sahip olacağı tutumu ölçerler. ancak sonuç ya tüm testler önemsizdi ya da hepsi anlamlıydı (yine, oldukça olasılık dışı bir olay). Bildiğimiz kadarıyla, yayın yanlılığı üzerine bu tür hiçbir çalışma, tipik gerçek dünya çalışmaları için el yazmaları hakkındaki kararlarda istatistiksel anlamlılığın rolünün ne olacağını değerlendirmeye çalışmamıştır. Birkaç hipotezin test edildiği ve bazı testlerin anlamlı olduğu ve bazılarının anlamlı olduğu çalışmalar. önemsiz. Bu nedenle, bu tür anketler, yayın yanlılığının kapsamını aydınlatmada sorgulanabilir kanıt değeri taşır. Yayın yanlılığının ciddi bir sorun olduğu önermesini desteklemek için sunulan ikinci tür kanıt, yayınlanan makalelerdeki istatistiksel anlamlılığın sıklığının kuşku uyandıracak kadar yüksek olduğu raporlarından oluşur. Örneğin, Sterling (1959) ve Bozarth ve Roberts (1972), yayınlanan makalelerin %92 ila %97'sinin önemli sonuçlar bildirdiğini buldu. Psikolojik araştırmalarda istatistiksel gücün ortalama seviyesinin %50 civarında olduğuna dair kanıtlar (Bölüm 1'de tartışılmıştır) göz önüne alındığında, bu yüzdeler büyük bir yayın yanlılığı öneriyor gibi görünmektedir. Bununla birlikte, çoğu çalışma birden fazla hipotezi test ederse ve dolayısıyla birden fazla anlamlılık testi rapor ederse, o zaman, yayın yanlılığı olmasa bile, hemen hemen tüm çalışmaların bazı önemli istatistiksel test sonuçlarını bildirmesini bekleriz. Bu nedenle, bu tür çalışmaların yayın yanlılığının kapsamını netleştirmede sınırlı değeri vardır. Ya yayınlanmış ve yayınlanmamış çalışmaların etki büyüklüklerini doğrudan karşılaştıran çalışmalar (bu bölümün önceki bölümlerinde tartışılanlar gibi) ne olacak? Görünen o ki, en yaygın çalışma türü için bu karşılaştırmayı inceleyen bu tür çalışmalar, varsa da çok az vardır - birkaç hipotezi inceleyen ve test eden çalışmalar. Bu tür çalışmaların incelenmesi, yayınlanmış ve yayınlanmamış çalışmaların etki büyüklüklerinin, ölçüm hatası, aralık kısıtlaması ve diğer düzeltilebilir eserlerdeki farklılıklarla açıklanabilecek farklılıkların ötesinde farklılık göstermediğini gösterebilir. Sağlık bilimleri alanlarında, özellikle tıbbi araştırmalarda, araştırmalar sıklıkla yalnızca bir hipotezi veya önemli kabul edilen en az bir hipotezi inceler. Bu, özellikle tıbbi araştırmalardaki randomize kontrollü çalışmalar (RCT'ler) için geçerlidir. Tipik RKÇ çalışmasında, ya bir tedavi plasebo ile ya da tedavisiz karşılaştırılır ya da iki tedavi birbiriyle karşılaştırılır. Bu nedenle, esasen yalnızca bir ilgi hipotezi vardır ve bu nedenle birden fazla hipotez tarafından sağlanan yayın yanlılığına karşı koruma yoktur. Aslında, yayın yanlılığına ilişkin kanıtlar, RCT'ler için oldukça güçlüdür: Tek bir hipotezin sonuçları önemsiz olduğunda, yayınlanmak üzere gönderilmeleri çok daha az olasıdır ve ayrıca yayınlandıkları takdirde kabul edilmeleri daha az olasıdır. Bu kanıt, araştırmacıların ve editörlerin yapacaklarını söylediklerine ilişkin tutum veya ifadelere ilişkin anketlere dayanmamaktadır; gerçek RCT çalışmalarının ampirik geçmişine dayanmaktadır. Bu, çalışmaların yalnızca bir hipotezi test ettiği literatürlerde yayın yanlılığının şiddetli olabileceğini düşündürse de, psikoloji ve sosyal bilimlerde bu tür literatürlerin sayısı giderek azalmaktadır. Kullanılabilirlik nedir Kullanılabilirlik Testi Kullanılabilirlik testi Örneği Web sitesi kullanılabilirlik testi KULLANILABİLİRLİK standardı Kullanıcı Testi Nedir KULLANILABİLİRLİK değerlendirme yöntemleri Kullanıcı Deneyimi testleri Kullanılabilirlik Önyargısını Tespit Etme Yöntemleri Kullanılabilirlik yanlılığının bir dizi çalışma için bir sorun olabileceğinden şüphelenmek için bir neden varsa, bu sorunu ele almak için yöntemler mevcuttur. Rosenthal (1979) “dosya çekmecesi analizini” bir yaklaşım olarak geliştirdi; bu yöntem, etki büyüklüklerini göz ardı ederek yalnızca istatistiksel anlamlılığa odaklanır. Efekt boyutlarına dayalı alternatif bir dosya çekmecesi yöntemi mevcuttur. Ek olarak, kullanılabilirlik yanlılığının mevcut olup olmadığını değerlendirmek için huni grafikleri kullanılabilir. Son olarak, son zamanlarda kullanılabilirlik yanlılığını saptamak ve düzeltmek için istatistiksel olarak daha karmaşık ve karmaşık yöntemler geliştirilmiştir. Henüz yaygın olarak kullanılmasa da bu yöntemler gelecekte önemli hale gelebilir. Şimdi bu yaklaşımların her birini sırayla tartışacağız. p Değerlerine Göre Dosya Çekmecesi Analizi Rosenthal'ın (1979) dosya çekmecesi analizi, bir dizi çalışma için anlamlılık düzeyini getirmek için var olması gereken boş sonuçların (yani, d ̄ = 0 veya r ̄ = 0) ortalamasını alan yerleştirilmemiş (“dosya çekmecesi”) çalışmaların sayısını tahmin eder. “sadece anlamlı” seviyeye, yani p = .05'e kadardır. Gerekli çalışma sayısı genellikle var olma olasılığı çok az olacak kadar fazladır, bu nedenle bir bütün olarak ele alındığında çalışma bulgularının gerçekten de çalışmaların yanlı örneklemesinden kaynaklanma olasılığının düşük olduğu sonucunu desteklemektedir. Dosya çekmecesi analizinin uygulanmasındaki ilk adım, çalışma grubu için genel anlamlılık seviyesinin hesaplanmasıdır. Birincisi, sıradan normal eğri tablolarını kullanarak k efekt boyutlarının her biri için p değerini karşılık gelen z değerine dönüştürür. Bu test yönlüdür (tek kuyruklu), bu nedenle araştırmacı varsayılan farkın yönünü belirlemelidir. Örneğin, kadınların erkeklerden daha yüksek ortalama algısal hız seviyelerine sahip olduğu varsayılırsa, o zaman .05 düzeyinde (tek kuyruklu) erkekleri destekleyen bir bulgu 1.00 − .05 = .95 p değeri ile girilir ve onun değeri z değeri -1.645 olacaktır. Değişkenler ilişkisiz olduğunda, toplamın varyansı, varyansların toplamıdır. z değerleri k bağımsız çalışmadan geliyorsa, her birinin varyansı 1.00'dır ve k çalışma boyunca z'lerin toplamının varyansı k'dir. 􏰂 zk'nin varyansı k olduğundan, SD = √k. Toplam çalışma setinin anlamlılık düzeyine karşılık gelen z puanı olan zc, o zaman √Örneğin, 10 çalışma (k = 10) ve z ̄k = 1.35 varsa, zc = 10(1.35) = 4.27, oldukça anlamlı bir zc değeri (p = .00000098). Dosya çekmecesi analizinde, zc'yi 1.645'e (veya p = .05) düşürmek için gereken ortalama z = 0 olan ek yerleştirilmemiş çalışmaların sayısını hesaplamak istiyoruz. Bu ek çalışma sayısını x ile belirtin. Çünkü bu çalışmalar z ̄ = 0, 􏰂zk+x =􏰂zk değerine sahiptir. Ancak çalışmaların sayısı k'dan k+x'e yükselecektir. Böylece, 􏰂 zk+z için yeni SD √k + x olacaktır. zc = 1.645 değerini istenen değere ayarlarsak, x için aşağıdaki denklemi çözebiliriz. Bu nedenle, çalışma grubu için birleşik olasılık düzeyini .05'e getirmek için, sıfır sonuç ortalaması alan 57 konumlanmamış çalışmanın olması gerekir. Bu örnekte orijinal olarak 10 yerine 100 çalışma (k = 100) varsa, x = 6.635! Birleşik p değerini .05'e yükseltmek için 6.000'den fazla çalışma gerekecektir. Çoğu araştırma alanında, 6.000'den fazla “kayıp” çalışma olabileceği düşünülemez. Bu yöntemle ilgili önemli bir sorun, homojen durumu varsaymasıdır. Yani, Sρ2 = 0 (veya Sδ2 = 0) varsayılır. Bu, bunun bir sabit etkiler modeli olduğu ve bu nedenle Bölüm 5 ve 9'da tartışıldığı gibi sabit etkiler meta-analiz yöntemlerinin tüm sorunlarına sahip olduğu anlamına gelir. Özellikle, sabit etkiler varsayımı geçerli değilse (ve nadiren tutarsa) , o zaman birleşik p değerini çok az anlamlı hale getirmek için gereken eksik çalışmaların sayısı, dosya çekmecesi analizinin verdiği sayıdan çok daha küçüktür. Başka bir yanlışlık kaynağı, bireysel çalışmalar için başlangıçta hesaplanan p değerlerinin de sabit etkiler varsayımına bağlı olması ve bu nedenle tartışıldığı gibi tipik olarak yanlış olmasıdır. Rosenthal dosya çekmecesi analizine yönelik diğer önemli eleştiriler Begg tarafından verilmiştir.