Derecelendirme
Personel seçiminde, iki çalışmanın hem iş performansını ölçmek için derecelendirme ölçekleri hem de aynı testi (X) kullandığını varsayalım. Bir çalışmada 20 alt ölçekli ve diğeri yalnızca 7’li bir derecelendirme ölçeği kullanılıyorsa, ilk çalışmadaki SDy iki kat daha büyük olabilir ve bu da eğimin iki kat daha büyük olmasına neden olabilir. Bu problem, iki birincil çalışma arasında eğimleri anlamlı bir şekilde karşılaştırmayı imkansız hale getirir.
Meta-analizde, bu nedenle kümülatiflenecek istatistik olarak eğimleri ve kesişimleri kullanmak genellikle imkansızdır. Korelasyon katsayısı ise tüm çalışmalarda aynı birimlerdedir ve çalışmalar arasında toplanabilir; ölçekten bağımsızdır.
Bu karşılaştırılamaz ölçekler sorunu davranışsal ve sosyal bilimlere özgüdür. Fizik bilimlerinde, farklı çalışmalar farklı ölçekler kullansa bile, tüm çalışmalar ortak bir ölçeğe konabilir ve eğimler ve kesişimler daha sonra toplanabilir. Pound, kilograma, inçten santimetreye, quart’tan litreye ve bunun tersi de yapılabilir.
Bu ölçekler birbirine tamamen çevrilebilir çünkü her birinin rasyonel bir sıfır noktası vardır; her biri diğerinin bazı sabit zamanlarıdır. Sıfır ağırlığı tanımlayabiliriz, ancak sıfır sözel yeteneği tanımlamak zordur; bu nedenle, çalışmalarımız aynı ölçü birimlerine dönüştürülemez. Bunun yerine, hepsini aynı ölçeksiz birime, korelasyona çevirmeliyiz. Fiziksel ve sosyal bilimler arasındaki bu önemli ayrım, korelasyon katsayısını eleştirenler ve bunun yerine eğimlerin kullanılmasını savunanlar (örneğin, Korelasyon Katsayısını Kaldıran Toplum) tarafından gözden kaçırılmıştır.
Bazen bu karşılaştırılabilirlik sorununun, her çalışmadaki bağımsız ve bağımlı değişkenleri standartlaştırarak ve çalışmalar arasında eşit standart sapmalar yaratarak çözülebileceği iddia edilir; ancak iki değişkenli regresyonda elde edilen standartlaştırılmış regresyon ağırlıkları daha sonra korelasyona eşittir. O zaman r ile başlamamanın bir anlamı yoktur.
Bulguların Meta-Analizlerde Karşılaştırılabilirliği
Mevcut tüm çalışmalar aynı ölçüm ölçekleri kullanılarak yapılmışsa (çok nadir görülen bir olay), o zaman eğimlere ve kesişimlere meta-analiz uygulanabilir. Bunu yapmak için yöntemler ayrıntılı olarak Raju, Fralicx ve Steinhaus (1986) tarafından geliştirilmiş ve Callender (1983) tarafından tartışılmıştır. Örneğin, Hackman-Oldham teorisini test eden hemen hemen tüm çalışmalar, Hackman ve Oldham tarafından geliştirilen orijinal ölçeklerle aynı ölçekleri kullanmıştır.
Ayrıca birçok kuruluşta konsorsiyum çalışması yapıldığında, tüm kuruluşlarda genellikle aynı ölçekler kullanılmaktadır. O halde sorun, böyle bir meta-analizin sonuçlarının diğer meta-analizlerle karşılaştırılamamasıdır. Örneğin konsorsiyum çalışmasında iş tatmini ile iş performansı arasındaki ilişkinin gücünün literatürdeki diğer meta-analizlerde olduğu gibi aynı olup olmadığını soramayız.
Bu son meta-analizler, korelasyon birimlerinde (veya daha nadiren, bazı farklı ham puan birimlerinde) olacaktır. Bölüm 1’de belirttiğimiz gibi, teorilerin geliştirilmesi, farklı meta-analizlerin sonuçlarının bir araya getirilip tutarlı bir açıklamaya entegre edilmesini gerektirir.
Bu nedenle, meta-analizlerin karşılaştırılamaması, eğimlerin ve kesişimlerin kümülasyonunda ciddi bir dezavantajdır. Bunun anlamı, eğimlerin ve kesişimlerin meta-analizinin istatistiksel olarak mümkün olduğu ender durumlarda bile, daha geniş gelişen nomolojik ağa bağlanabilecek bir dizi bulguya sahip olmak için yine de korelasyonlarda bir meta-analiz yapılması gerektiğidir.
Aykırı değer nedir
Aykırı değer hesaplama
Mahalanobis uzaklığı hesaplama
Aykırı gözlem nedir
Dixon testi
Outliers hesaplama
Çok değişkenli aykırı gözlem
Grubbs testi nedir
SDρ’nin Fazla Tahmin Edilmesine Neden Olan Teknik Faktörler
Bu kitap boyunca, çalışmalar arasındaki korelasyon farklılıklarının çoğunun istatistiksel ve ölçüm yapaylıklarının çalışmasından kaynaklandığını vurguladık. Bu artefaktlar Bölüm 2’de tanımlandı ve birçoğu için düzeltme yöntemleri Bölüm 3 ve 4’te sunuldu. Bu bölüm, popülasyon korelasyonlarının standart sapması olan SDρ’nin fazla tahmin edilmesine katkıda bulunan beş ek faktörü tartışıyor. Bu faktörler, gerçek korelasyonlardaki değişkenlik miktarının fazla tahmin edilmesine yol açar.
Bu faktörler (1) meta-analizde Pearson olmayan korelasyonların varlığı, (2) meta-analizde aykırı değerlerin (aşırı büyük veya küçük korelasyonların) varlığı, (3) çalışmada gözlemlenen korelasyonların kullanılmasıdır. örnekleme hatası varyansı formülü, (4) aralık kısıtlaması olduğunda örnekleme hatası varyansı için alt düzeltme ve (5) yapaylık dağılımlarına dayalı meta-analizlerde aralık düzeltmelerinde doğrusal olmayanlığa izin verilmemesi gerekir.
Bu faktörlerin ilk üçü tüm meta-analizlerde geçerlidir; dördüncüsü, yalnızca bağıntıların bazıları veya tümü, aralık kısıtlamasından etkilendiğinde geçerlidir; beşincisi yalnızca yapay dağılımları kullanan meta-analizler için geçerlidir. Bununla birlikte, bugüne kadarki çoğu meta-analizde yapay dağılımlar kullanılmıştır.
Pearson olmayan kişilerin varlığı
İki seri ve tetrakorik gibi yaygın olarak kullanılan Pearson olmayan korelasyon katsayılarının Pearson rs’den daha büyük standart hatalara sahip olduğu iyi bilinmektedir. Bu nedenle, Pearson korelasyonunun örnekleme hatası varyansı formülü, bu korelasyonlardaki örnekleme hatası varyansının miktarını olduğundan daha az tahmin eder. Bu tür korelasyonlar bir meta-analize dahil edildiğinde, standart hataları Pearson rs’ninkilermiş gibi ele alınır.
Bu, artefaktlar tarafından hesaplanan tahmini varyansı söndürür ve iki serili ve tetrakorik korelasyonların mevcut olduğu herhangi bir korelasyon dağılımında SDρ tahminini şişirir. Meta-analizden önce Pearson dışı rs silinirse daha doğru sonuçlar elde edilebilir.
Tabii ki, bu tür bir silme, toplam korelasyon sayısı başlangıçta büyük olduğunda daha uygundur. Geniş geçerlilik araştırmaları setlerinde, Pearson olmayan rs’lerin silinmesinin, örnekleme hatasının açıkladığı ortalama varyans yüzdesini neredeyse beş yüzde puanı artırdığını bulduk. Spearman’s rho’nun sıralar arasındaki Pearson r olduğu ve Pearson r ile aynı örnekleme hatası varyansına sahip olduğu belirtilmelidir. Bu nedenle silinmemelidir.
Aykırı Değerlerin Varlığı ve Diğer Veri Hataları
Korelasyon dağılımının ortalamasını ve varyansını tahmin etmek için en küçük kareler istatistiksel yöntemlerinin kullanılması, verilerin anormal değerler (yani aykırı değerler) içermediği varsayımına dayanır. Bu varsayım tutmadığında, en küçük kareler tahminlerinin istatistiksel olarak optimal özellikleri (verimlilik ve yansızlık) ortadan kalkar. Bu koşullar altında, en küçük kareler tahminleri, aykırı değerlere karşı aşırı duyarlılıkları nedeniyle çok yanlış hale gelir.
Tek bir aykırı değerin varlığı bile, gözlemlenen standart sapmada radikal bir artışa ve ortalamada biraz daha küçük bir bozulmaya neden olabilir. Herhangi bir araştırma alanındaki veri kümelerinin, hesaplama, transkripsiyon ve diğer hatalar nedeniyle hatalı olan veri noktalarını içermesi muhtemeldir.
Bu tür hatalar aykırı değerlerle sonuçlanmasa bile, örnekleme hatası ve diğer yapay öğeler tarafından üretilenin ötesinde ek yapay varyans üretirler. Tukey (1960), her türden veri kümesiyle ilgili kapsamlı deneyimine dayanarak, hemen hemen tüm veri kümelerinin aykırı değerler ve diğer hatalar içerdiğine karar verdi. En tanınmış psikometrik uzmanlarımızdan biri aşağıdaki düşünceyi dile getirdi.