İstatistiksel Önem Testleriyle İlgili Sorunlar
Bir dizi çalışmada sıfır hipotezi doğruysa, anlamlılık için temel oran %50 değil %5’tir. 20 çalışmada 1’den fazlası anlamlılık bulursa, bazı çalışmalarda sıfır hipotezi yanlış olmalıdır. O halde, %5 taban oranı bilen bazı yorumcular tarafından yapılan bir hatadan kaçınmalıyız.
%35 anlamlı bulgu göz önüne alındığında, bazıları “%5 şans eseri önemli olacağından, bu, sıfır hipotezinin gerçekten yanlış olduğu araştırmaların sayısının 35 -5 = %30 olduğu anlamına gelir” sonucuna varmıştır. Varsayımsal örneğimiz bu akıl yürütmenin yanlış olduğunu göstermektedir. Her çalışmada popülasyon korelasyonu .20 ise ve örneklem büyüklüğü her zaman 40 ise, sıfır hipotezi her durumda yanlış olsa bile, çalışmaların sadece %35’inde anlamlı bulgular olacaktır.
Önemlilik testi sonuçlarının tipik kullanımı, geleneksel inceleme çalışmalarında büyük hatalara yol açar. Bu tür incelemelerin çoğu, literatürdeki “çatışan sonuçları” çözmek için daha fazla araştırmaya ihtiyaç olduğu konusunda yanlış bir sonuca varıyor. Gözden geçirme çalışmalarında bu hatalar ancak anlamlılık testlerinin yorumlanmasındaki hatalar ortadan kaldırılabilirse ortadan kaldırılabilir. Yine de, nesilden nesile yüksek lisans öğrencilerine güç öğreten bizler, akıl yürütme süreçlerini ve% 5 hata oranına olan yanlış inancı değiştiremedik.
Bu örnek kritik bir noktayı göstermektedir. Çalışmaları yorumlarken istatistiksel anlamlılık testlerine geleneksel olarak güvenmek, çalışma sonuçlarının ne anlama geldiği konusunda yanlış sonuçlara yol açar; aslında, veri analizine yönelik geleneksel yaklaşım, çoğu araştırma alanında doğru sonuçlara ulaşmayı neredeyse imkansız hale getirir.
Önem testine geleneksel güvenin bu eleştirisine ortak bir tepki şuna benzer: “Açıklamanız açık ama bu kadar önemli bir konuda bu kadar uzun süredir bu kadar çok araştırmacının (ve hatta bazı metodolojistlerin) nasıl bu kadar yanılmış olabileceğini anlamıyorum. Verileri analiz etmenin doğru yolu olarak mı? Psikologlar ve diğerleri, önem testinin tuzaklarını nasıl göremediler?” Yıllar boyunca, bir dizi metodoloji uzmanı bu soruyu ele aldı.
Birincisi, istatistik derslerinde genç araştırmacılara tipik olarak Tip I hata hakkında çok şey öğretildi ve Tip II hata ve istatistiksel güç hakkında çok az şey öğretildi. Bu nedenle, tipik çalışmada hata oranının çok büyük olduğunun farkında değiller; hata oranının kullanılan alfa seviyesi olduğuna inanma eğilimindedirler.
Ek olarak, ampirik araştırmalar, çoğu araştırmacının, anlamlılık testlerinin kullanılmasının, verilerini anlamada kendilerine var olmayan birçok fayda sağladığına inandığını göstermektedir. Çoğu araştırmacı, istatistiksel olarak anlamlı bir bulgunun, yeni bir çalışma yapıldığında tekrarlanacağı anlamında “güvenilir” bir bulgu olduğuna inanmaktadır.
İstatistik SONUÇLARININ YORUMU: p değeri ve güven aralığı nedir
P değeri 0.05 eşitse
Anlamlılık düzeyi formülü
P değeri yorumlama
İstatistiksel anlamlılık Nedir
Anlamlılık düzeyi Nedir
Anlamlılık nedir
0.01 anlamlılık düzeyi
Örneğin, bir sonuç .05 düzeyinde anlamlıysa, sonraki çalışmalarda (eğer yürütülürse) tekrarlanma olasılığının 1.00 − .05 = .95 olduğuna inanırlar. Bu inanç tamamen yanlıştır. Tekrarlama olasılığı, çalışmanın istatistiksel gücüdür ve neredeyse her zaman 0,95’ten çok daha düşüktür (örneğin, tipik olarak 0,50 veya daha az).
Çoğu araştırmacı aynı zamanda yanlış bir şekilde, eğer bir sonuç önemsizse, bunun muhtemelen tesadüften kaynaklandığı sonucuna varılabileceğine inanır, örneğimizde gösterildiği gibi, başka bir yanlış inanç. Önem testleri tarafından sağlanan bilgilerin yararlılığı hakkında yaygın ancak yanlış inanışlar da vardır.
Bu noktada başka bir gerçek daha önemlidir: Fizik ve kimya gibi fizik bilimleri, verilerini yorumlarken istatistiksel anlamlılık testi kullanmazlar. O halde, bu bilimlerin, araştırmacılar anlamlılık testlerine güvendiklerinde kaçınılmaz olan, burada açıklanan zayıflatıcı sorunları yaşamamış olmaları tesadüf değildir.
Fizik bilimlerinin, önem testine güvenmeyi bilim dışı olarak kabul ettiği göz önüne alındığında, pek çok psikoloğun, bu tür testlerin veri analizi ve yorumunda nesnel ve bilimsel olarak doğru bir yaklaşım olduğu gerekçesiyle, anlam testlerinin kullanımını savunması ironiktir.
Aslında, anlamlılık testini savunmaya çalışan psikologların ve diğer davranış bilimcilerinin genellikle boş hipotez istatistiksel anlamlılık testini genel olarak bilimsel hipotez testiyle eşitledikleri deneyimimiz olmuştur. Hipotez testinin bilim için merkezi olduğunu ve anlamlılık testinin terk edilmesinin, hipotez testi olmaksızın bir bilime sahip olma girişimi anlamına geleceğini savunuyorlar.
Bilimde önem testi ve hipotez testinin bir ve aynı şey olduğuna yanlış bir şekilde inanıyorlar. Bu inanç, fizik, kimya ve diğer fizik bilimlerinin hipotez testi üzerine inşa edilmedikleri için meşru bilimler olmadığını söylemekle eşdeğerdir.
Bu inancın bir başka mantıklı anlamı, 1930’larda Fisher (1932) tarafından sıfır hipotezi anlamlılık testinin getirilmesinden önce, hiçbir meşru bilimsel araştırmanın mümkün olmadığıdır. Gerçek şu ki, elbette, bilimsel hipotezleri test etmenin birçok yolu vardır ve anlamlılık testi, bunu yapmanın en az etkili yöntemlerinden biridir.
İstatistiksel Güç Çözüm Müdür?
Bazı araştırmacılar, anlamlılık testiyle ilgili tek sorunun düşük güç olduğuna ve bu sorun çözülebilirse, anlamlılık testine güvenmeyle ilgili hiçbir sorun olmayacağına inanmaktadır. Bu bireyler, çözümü daha büyük örneklem boyutları olarak görmektedir. Her araştırmacı, her çalışmayı yapmadan önce “yeterli” güç için gereken denek sayısını hesaplarsa ve sonra bu örnek büyüklüğünü kullanırsa sorunun çözüleceğine inanıyorlar.
Bu pozisyonun gözden kaçırdığı şey, bu gerekliliğin çoğu çalışmanın yürütülmesini imkansız kılacağıdır. Belirli bir alanda araştırmanın başlangıcında, sorular genellikle “A Tedavisinin bir etkisi var mı?” şeklindedir. (örneğin, kişilerarası beceri eğitiminin bir etkisi var mı? Bu yordayıcının herhangi bir geçerliliği var mı?).
A Tedavisinin gerçekten önemli bir etkisi varsa, yeterli güç için gereken örneklem büyüklüğü engelleyecek kadar büyük olmayabilir. Ancak araştırmalar geliştikçe, sonraki sorular “A Tedavisinin etkisi, B Tedavisinin etkisinden daha büyük mü?” şeklini alma eğilimindedir. (örneğin, yeni eğitim yönteminin etkisi eski yöntemin etkisinden daha mı büyük? Öngörücü A, Öngörücü B’den daha mı geçerli?).
Efekt boyutu daha sonra iki efekt arasındaki fark olur. Bu tür etki büyüklükleri genellikle küçük olacaktır ve bu nedenle gerekli örnek büyüklükleri genellikle oldukça büyüktür – 1.000 veya 2.000 veya daha fazla. Ve bu sadece .80’lik bir güce ulaşmak içindir; bu, sıfır hipotezi yanlış olduğunda hala %20’lik bir Tip II hata oranına izin verir – çoğu kişinin yüksek kabul edeceği bir hata oranı. Pek çok araştırmacı ne kadar uğraşırsa uğraşsın bu kadar konuyu elde edemez; ya kaynaklarının ötesindedir ya da konular ne pahasına olursa olsun kullanılamaz. Bu nedenle, bu pozisyonun sonucu, o kadar çok -belki de çoğu- çalışmanın hiç yapılmayacağı olacaktır.