Aykırı Değerlerin Varlığı ve Diğer Veri Hataları
Ne yazık ki, bu tür kontrollerin yapılmaması çok yaygındır. Fizik bilimlerinde (örneğin fizik ve kimya), aşırı değerler yüzyıllardır rutin olarak ortadan kaldırılmıştır. Davranış bilimleri ve sosyal bilimler, son zamanlarda veri analizinden önce bu tür “kırpma” ihtiyacını fark etmeye başladılar. Tukey (1960) ve Huber (1980), veri noktalarının en uç %10’unun silinmesini tavsiye etti – değerlerin en büyük %5’i ve en küçük %5’idir.
Bir çalışmada, yalnızca üst ve alt %2’nin silinmesinin, artefaktların açıkladığı ortalama varyans yüzdesinde beş yüzde puanlık bir artışla sonuçlandığını bulduk. Ancak, SDρ kestiren meta-analiz yöntemleri söz konusu olduğunda, aykırı değerlerin belirlenmesi ve ortadan kaldırılması karmaşık ve sorunlu bir süreçtir. Numune boyutları küçük ila orta olduğunda (olağan durum), yalnızca büyük örnekleme hatalarından dolayı uç değerler oluşabilir.
Bu tür değerler gerçek aykırı değerler değildir ve verilerden çıkarılmamalıdır, çünkü örnekleme hatası varyansı formülü bu tür büyük örnekleme hatalarını varsayar ve buna izin verir. Bu tür aykırı olmayan uç değerlerin ortadan kaldırılması, örnekleme hatası için aşırı düzeltmeye ve SDρ’nin eksik tahmin edilmesine neden olabilir.
Bu nedenle, meta-analizlerimizi yürütürken genellikle en uç “aykırı değerler” dışında hiçbirini kaldırmadık. Huffcutt ve Arthur (1995), meta-analizde aykırı değerleri belirlemek ve ortadan kaldırmak için bir prosedür geliştirdi. Ancak burada tartışılan nedenlerden dolayı bu tür prosedürlerin kullanımı sorunludur.
Örnekleme Hata Formülünde r ̄ Yerine r Kullanımı
Bir korelasyon katsayısındaki örnekleme hatası varyansı formülü, N’nin örnek boyutu ve ρxy’nin popülasyon (düzeltilmemiş) korelasyon olduğu yerdedir. ρxy elbette bilinmiyor ve bu formülü kullanmak için onu tahmin edecek bir yöntem bulunmalıdır. Tekli çalışmalarda, tipik olarak kullanılan ρxy tahmini – çünkü mevcut olan tek şey, eldeki çalışmada gözlemlenen korelasyondur.
İstihdam testi geçerliliklerine ilişkin ilk meta-analizlerimizde şu geleneği izledik: Her çalışmada örnekleme hatası varyansını tahmin etmek için kullanılan değer, o çalışmada gözlemlenen korelasyondu. Daha sonraki simülasyon çalışmaları ve gerçek verilerle yapılan çalışmalar bu prosedürün optimal olmadığını göstermiştir.
Ortalama gözlemlenen r (r ̄obs)—bu literatürde iyi bir ρxy tahmini tipik olarak yaklaşık .20’dir. Örnek boyutları genellikle küçüktür, bu nedenle ρxy’den her iki yönde de önemli sapmalar vardır. Örnekleme hatası büyük ve pozitif olduğunda (örneğin, +.20, böylece r = .40 olur), tahmin edilen Se2 önemli ölçüde azalır (bu örnekte %23 oranında).
R programı komutları
R ile Veri Analizi örnekleri
R dili ekşi
R PROGRAMLAMA dili ile Neler yapılabilir
RStudio kullanımı
R programı Nedir
r-studio kullanımı resimli anlatım
R PROGRAMLAMA Eğitimi
Ancak bu etki simetrik değildir. Örnekleme hatası büyük ve negatif olduğunda (örneğin, −.20, yani r = .00), tahmin edilen Se2 yalnızca küçük bir miktarda artar (bu örnekte %9 kadar). Bu nedenle, dengede, bir dizi korelasyondaki örnekleme hatası büyük ölçüde hafife alınır. İncelenen çalışmalarda örneklem büyüklüğü ne kadar küçükse, bu küçümseme o kadar büyük olacaktır.
Ayrıca, (zayıflatılmış) popülasyon korelasyonu ne kadar küçükse, eksik tahmin o kadar büyük olacaktır (çünkü daha küçük ρis daha büyük örnekleme hatası varyanslarına sahiptir, örnek boyutları eşittir). Sonuç, örnekleme hatası ve SDρ’nın fazla tahmin edilmesiyle hesaplanan varyans miktarının küçümsenmesidir. Bu bozulma, örnekleme hatası formülünde tek tek r’ler yerine çalışmalar kümesi için r ̄ kullanılarak ortadan kaldırılabilir.
r ̄ çok az örnekleme hatası içerir ve uç değerler pek olası değildir. Sonuç, SDρ için daha doğru tahminlerdir. Hunter ve Schmidt (1994b), analitik olarak r ̄ kullanımının homojen durumda (SDρ = 0 olduğu yerde) doğruluğu arttırdığını gösterdi. Law, Schmidt ve Hunter (1994b) bunun heterojen durumda da (SDρ > 0 olduğu) doğru olduğunu göstermek için bilgisayar simülasyonunu kullandı. Sonuç olarak, bu kitapta sunulan yöntemlerin tümü, bu yöntemleri uygulamak için mevcut bilgisayar programları gibi, bağıntıların örnekleme hatası varyansı formülünde r ̄ kullanır.
Millsap (1988), bir Monte Carlo çalışmasında, örnekleme hatası varyansı formülünde r ̄ yerine r’yi kullanmıştır. Çalışmasında, tüm ρs eşit olduğundan Sρ2 0’dı ve gözlemlenen rs’nin varyansı yalnızca örnekleme hatası varyansıydı, yani Sr2 = Se2.
Ancak, formülden türetilen Se2 tahminlerinin Sr2 rakamlarından biraz daha küçük olduğunu ve bu farkın daha küçük örnek boyutları için daha büyük olduğunu buldu. Bu bulguyu formüldeki yanlışlığa bağladı (formül bir tahmindir), ancak bu bölümde açıklanan fenomen, büyük ölçüde bulgularının açıklamasıdır. Ayrıca, ölçek güvenilirliği daha düşük olduğunda, örnekleme hatası varyansına ilişkin formülden türetilen tahminlerindeki negatif yanlılığın daha büyük olduğunu bulmuştur.
Bu bulgu, daha düşük güvenilirliğin, operatif popülasyon korelasyonu olan ρi’nin daha düşük değerlerine yol açması gerçeğiyle açıklanmaktadır. Daha düşük ρi değerleri, herhangi bir sabit örnek boyutu için daha büyük örnekleme hatası varyanslarına sahiptir, bu nedenle daha önce açıklanan süreci yoğunlaştırır. Bu nedenle, Millsap’ın (1988) sonucunun aksine, eksik tahminde artışa neden olan tek başına güvenilmezlik (ölçüm hatası) değil, daha çok popülasyon korelasyonunun değerinin düşmesi ve bunun sonucunda örnekleme hatasındaki artıştır.
Menzil Kısıtlaması Varlığında Örnekleme Hatası Varyansı için Alt Düzeltme
Örnekleme hatası varyansı formülü, bağımsız ve bağımlı değişkenlerin en azından yaklaşık olarak normal dağıldığını varsayar. Değişkenlerden biri veya her ikisi üzerinde doğrudan menzil kısıtlaması (kesme) olduğunda, bu varsayım ihlal edilir. Örneğin personel seçiminde, testte (bağımsız değişken) doğrudan kısıtlama olabilir.
Örneğin, sadece ortalama sınav puanının üzerinde olan adaylara iş teklifi yapılabilir. Millsap (1989), bilgisayar simülasyon çalışmalarını kullanarak, bu koşullar altında, örnek (veya çalışma) korelasyonlarının, örnekleme hatası varyans formülünde belirtilenden daha büyük örnekleme hatası varyansına sahip olduğunu bulmuştur. Yani formül, örnekleme varyansı için eksik düzeltmelere ve dolayısıyla artık varyansın ve SDρ’nin fazla tahmin edilmesine yol açan gerçek örnekleme hatası miktarını olduğundan az tahmin eder.
Alt düzeltme, numune boyutları 60 veya daha az olduğunda en büyüktür. Örnek olarak, tüm çalışmalarda N = 60 ve ρ = .40 ise ve tüm varyans aslında yalnızca örnekleme hatasından kaynaklanıyorsa, o zaman tahmini artık SD (SDres) ortalama olarak .046 olacaktır. Tahmini SDρ değeri tipik olarak yaklaşık .09 olacaktır. Her iki durumda da doğru değer elbette 0’dır.
Bu nedenle, literatürdeki birçok sıfır olmayan SDρ tahmininin tamamı veya büyük bir kısmı bu etkiye bağlı olabilir, çünkü birçoğu .08 ila .12 aralığındadır. Aguinis (2001), Millsap’ınkine benzer sonuçlar bildirmiştir. Çoğu çalışmada, menzil kısıtlaması doğrudan değil dolaylıdır. Aguinis ve Whitehead (1997), dolaylı menzil kısıtlamasının, örnekleme hatası varyansı tahminlerinde benzer bir aşağı yönlü önyargı ürettiğini gösterdi. Doğrudan veya dolaylı menzil kısıtlamasının neden olduğu örnekleme hatası varyansının düşük tahminini düzeltmek için bilinen bir prosedür yoktur.