Dolaylı Menzil Kısıtlamasında Tahmin
Açık bir politika yakalama çalışması yapılmadıysa, o zaman S gözlemlenmez ve uS de gözlemlenmez. Neyse ki, amaçlarımız için bu değere ihtiyacımız yok. Kritik değer, tahmin edici gerçek puan T için kısıtlama oranıdır. Bu gözlemlenmez, ancak uX için gözlemlenen değerden hesaplanabilir.
Denklem (5.31), Denklem (3.16)’nın (karesi)’dir. Bu formül ilk başta garip görünebilir, ancak uX için mümkün olan en küçük değerin 0 olmadığını hatırlamak önemlidir. Doğrudan menzil kısıtlaması için, uX olabilir. 0’a kadar inin (çünkü SDXi 0 olabilir ve bu nedenle SDXi /SDXa = uX = 0 olabilir). Dolaylı menzil kısıtlaması için, ölçüm hataları seçim sürecine dahil edilmez, bu nedenle seçim, ölçüm hatası varyansında herhangi bir değişiklik oluşturmaz.
uT’nin ortalama değeri .56’dır ve uX’in ortalama değerinden oldukça küçüktür (ortalama uX = .67). Bu, uX’in bir menzil kısıtlaması ölçüsü olarak alınmasının, gerçek menzil kısıtlamasının kapsamının tutarlı bir şekilde eksik ifade edilmesine ve menzil kısıtlamasının zayıflatıcı etkilerinin eksik tahmin edilmesine yol açtığı anlamına gelir.
Örnek için bulgu genelleştirilebilir: uT değeri her zaman uX değerinden daha aşırı aralık kısıtlaması gösterecektir. Yani, uT her zaman uX’den küçüktür.
Dolaylı Menzil Kısıtlamasında S ve T Arasındaki Korelasyon
S ve T arasındaki korelasyon, kuruluşun S’yi seçtiğinde seçim şemasında T’ye dolaylı olarak ne ölçüde güvendiğinin bir ölçüsüdür. Olduğu gibi, bu korelasyon SandT için aralık kısıtlama değerlerinden hesaplanabilir. Tahmin edicinin gerçek puanı üzerindeki aralık kısıtlamasının kapsamı, Denklem’de gösterildiği gibi başvuru sahibi popülasyonda S üzerindeki aralık kısıtlamasının kapsamına ve S ile T arasındaki korelasyonun boyutuna bağlıdır.
KULLANIM örneğini düşünün. Bir kuruluş en üst %10’u seçerse, S üzerindeki aralık kısıtlaması uS = .41’dir. T üzerindeki ortalama aralık kısıtlaması uT = .56 ise, S ve T arasındaki başvuran nüfus korelasyonudur.
USES tarafından incelenen organizasyonlar için ortalama seçim oranı .10 olsaydı, o zaman ρST =.76uygunluk ve zeka arasındaki ortalama korelasyon olurdu. Ortalama seçim oranı %10’dan küçükse, ortalama korelasyon daha düşük olacaktır. (Bu veri setindeki gerçek ortalama seçim oranı S, elbette bilinmiyor.)
Dolaylı Menzil Kısıtlamasında Zayıflama Modeli
Dolaylı menzil kısıtlamasında zayıflama modelini anlamanın en kolay bağlamı, eşzamanlı doğrulamadır. Böyle bir çalışmada, seçimin hem X hem de Y üzerinde ölçümden önce geldiği açıktır. Bu nedenle, aralık kısıtlaması, verileri etkileyen ilk yapıdır ve yerleşik nüfus için ölçüm hatası daha sonra eklenir. (Öngörüye dayalı bir doğrulama çalışmasında, dolaylı menzil kısıtlaması koşulları altında, seçimin nedensel olarak ölçümden önce olması, ilk kez gerçekleşmesi gerekmese bile, daha az açıktır, ancak eşit derecede doğrudur.)
Eğitim veya istihdam seçimi psikoloğu için bu model, ihtiyaç duyulan bağımlı değişken güvenilirlik bilgisinin sınırlı nüfus için olması ve bu güvenilirlik katsayısı eldeki verilerden (yani kısıtlı veriler) hesaplanabilmesi açısından şanslıdır.
Araştırmada hata Kaynakları
Güvenirlik kriterleri
Bilimsel araştırma Bölümleri
Bilimsel araştırmalarda Geçerlik
Araştırma Bölümleri
Bilimsel araştırmalarda güvenirlik
Veri Derleme hataları nelerdir
Sistematik hatalar
Dolaylı Menzil Kısıtlamasında Yordayıcı Ölçüm Hatası
Tahmin edici ölçüm hatası için, bu model hoş olmayan bir sürpriz sağlar: Yerleşik güvenilirlik, başvuranın güvenilirliğinden önemli ölçüde daha düşük olabilir. İki güvenilirliği ilişkilendiren uygun bir formüle ihtiyacımız var. Aşağıda gösterildiği gibi, görevdeki güvenilirlik, uX üzerindeki aralık kısıtlaması veya aralık kısıtlamasından tahmin edilebilir.
uT’den Görevdeki Güvenilirliği Tahmin Etme
Bir formül bulmanın püf noktası, güvenilirlik hakkında düşünmekten, tahmin edicinin kalitesi (yani, güvenilirliğin karekökü) hakkında düşünmeye geçmektir. Kalite bir korelasyondur, yani ρTX. Bu korelasyon, T üzerindeki menzil kısıtlaması nedeniyle başvuru sahibi ve yerleşik nüfus arasında değişecektir. Bu nedenle, yerleşik kalite formülü, etki büyüklüğü ρTP ile aynı aralık kısıtlama formülüdür.
USES veritabanı durumunda, başvuru sahibi güvenilirliği rXXa’dır, kalite bu nedenle ρTXa = .90’dır. Daha önce belirtildiği gibi, uT = .56. T üzerindeki aralık kısıtlaması, kalitenin ρTXi = .756’ya düşmesine neden olur, bu da yerleşik güvenilirliğin yalnızca (.756)2 = .57 olduğu anlamına gelir. Başka bir deyişle, başvuran popülasyonda .81 güvenilirliği olan bir test, yerleşik popülasyonda yalnızca .57’lik mütevazı bir güvenilirliğe sahiptir.
Başvuru sahibi güvenilirliğinden yerleşik güvenilirliğe geçişin doğasında bulunan başka bir ince sorun daha vardır: varyansta bir değişiklik. USES veri tabanı için tüm çalışmalarda aynı test kullanıldı. Bu nedenle, başvuru sahibi güvenilirliği rXXa bir sabit .81’dir. Bununla birlikte, menzil kısıtlamasının derecesi bir çalışmadan diğerine değişiyordu. Bu, yerleşik test kalitesinin bir çalışmadan diğerine değişmesine neden olur. Bu, başvuru sahibinin güvenilirliği sabit olsa bile, yerleşik güvenilirliğin değiştiği anlamına gelir. Menzil kısıtlamasındaki çalışmalar arasındaki farklılık, yerleşik güvenilirliklerde farklılık yaratır. [INTNL-I bilgisayar programı bu değişikliği düzeltir.]
Her Korelasyonu Tek Tek Düzelten Meta-Analiz: Dolaylı Aralık Kısıtlaması
VG6-I bilgisayar programında aşağıdaki prosedürler kullanılmaktadır (“Korelasyonlar—Bireysel Düzeltme” olarak etiketlenmiştir; Ek’e bakınız). Her üç artefaktın etkileri için ayrı ayrı düzeltilen çalışma korelasyonları üzerinde meta-analiz yapıldığında, ilk gereklilik bu düzeltmeleri yapmak için bir prosedürdür. Dolaylı menzil kısıtlaması durumunda, bu prosedür aşağıdaki gibidir. İlk olarak, Denklem(5.35) veya (5.36) kullanarak XXa torXXi’yi dönüştürün.
Bu prosedür, ölçüm hatası olmaması durumunda, doğrudan menzil kısıtlamasını düzeltme formülünün, menzil kısıtlamasının dolaylı olduğu durumlarda doğru olduğu gerçeğine dayanır. Bu prosedürde, önce ölçüm hatası kaldırılır ve daha sonra doğrudan menzil kısıtlaması için düzeltme formülü uygulanır.
Her çalışma korelasyonu bu şekilde düzeltildikten sonra, düzeltilmiş korelasyonlar üzerinde Bölüm 3’te açıklanan yöntemler kullanılarak meta-analiz gerçekleştirilir. Ne yazık ki, birincil çalışmalardan elde edilen veriler genellikle gerekli bilgileri içermediğinden bu prosedür çoğu zaman kullanılamaz. Sonuç olarak, meta-analiz genellikle onları rapor eden çalışmalardan derlenen eserlerin dağılımları kullanılarak yapılmalıdır.