Bir Örnek: Tibet İstihdam Servisi
Tibet İstihdam Hizmetindeki yetkililer, insanları çeşitli işlere yönlendirmek için birkaç yıldır bilişsel yetenek testi kullanıyor. Bu tür ödevler için içerik geçerliliğine güvenmelerine rağmen, içerik geçerlilik sistemlerini test etmek için ölçütle ilgili geçerlilik verileri de toplamaktadırlar.
Kapsam geçerlilik sistemlerinde, test geliştirme analistleri, her mesleği, yüksek bilişsel yetenek gerektirdiği ölçüde 1 = düşük ile 3 = yüksek arasında derecelendirerek derecelendirir. Kapsam geçerliliği sürekliliğinin tamamını katmanlaştırmak için seçilen altı meslek üzerinde eşzamanlı geçerlilik çalışmaları vardır. Bu veriler gösterilir.
Çalışma, örnekleme hatası için düzeltme yapıldıktan sonra bile geçerlilikte çok büyük farklılıklar buldu. Derecelendirme ile gözlemlenen korelasyon arasındaki korelasyon .72 idi ve örnekleme hatası düzeltmesinden sonra .79’a yükseldi. Bu durumda, korelasyonların varyansının sadece %17’si artefaktlardan kaynaklanıyordu, bu nedenle çalışma korelasyonlarının güvenilirliği .83 idi (yani, 1 – .17). Normalde, güvenilirlik çok daha düşük olur ve dolayısıyla düzeltme çok daha büyük olur. Örneğin, varyansın %70’i yapaylıklardan kaynaklanıyorsa, güvenilirlik yalnızca 1 − .70 = .30 olacaktır. Düzeltme faktörü 1/(.30)1/2 = 1.83 olacaktır.
Bu örnekte, yalnızca bağımlı değişkendeki (geçerlilik korelasyonları) güvenilmezliği düzelttik. Ancak tüm çalışmalarda olduğu gibi, bağımsız değişken de ölçüm hatası içerir ve bu nedenle Orwin ve Cordray’in (1985) belirttiği gibi, işlerin bilişsel gereksinimlerinin derecelendirmelerindeki güvenilmezliği de düzeltmemiz gerekir. Bu özel durumda, bu derecelendirmelerin güvenilirliğinin .75 olarak bulunduğunu varsayalım. O zaman derecelendirmeler ve test geçerliliği arasındaki gerçek puan korelasyonu olacaktır.
Dolayısıyla, bu türden gerçek bir analizde, her iki ölçümde de ölçüm hatasını düzeltmenin kritik önem taşıdığı açıktır. Aksi takdirde, yapı düzeyindeki ilişkiler hafife alınacaktır.
Örnekleme Hatası Dışındaki Artefaktlar
Zayıflama için Ölçüm ve Düzeltme Hatası
Bilimdeki değişkenler asla tam olarak ölçülemez. Gerçekten de, bazen ölçüm çok kabadır. 1890’ların sonlarından beri, ölçüm hatasının korelasyon katsayısını azalttığını biliyoruz. Yani, ölçüm hatası, değişkenlerin kendi aralarındaki korelasyona kıyasla ölçümler arasındaki korelasyonu sistematik olarak düşürür.
Bu sistematik hata daha sonra örnekleme hatasının sistematik olmayan çarpıtmalarıyla abartılır. Bu bölümde, ölçüm hatası teorisini gözden geçireceğiz ve zayıflama düzeltmesi için klasik formülü türeteceğiz. Ölçüm hatası, sistematik artefaktlar arasında özel bir konuma sahiptir: Bir meta-analizde her çalışmada her zaman mevcut olan tek sistematik artefakttır.
Daha sonra ölçüm hatasının örnekleme hatası ve güven aralıkları üzerindeki etkisine bakacağız. Özellikle, bireysel düzeltilmiş korelasyonlar için güven aralığını türeteceğiz. Bu temelden yola çıkarak, miktar olarak bir çalışmadan diğerine değişiklik gösterdiğinden ölçüm hatasının etkisini daha sonra ele alacağız.
Bağımsız değişkeni mükemmel bir şekilde ölçebilseydik, bağımsız değişkende gözlenecek olan gerçek puanı T ile gösterelim.
burada E1, bağımsız değişkendeki ölçüm hatasıdır. Bağımlı değişkeni mükemmel bir şekilde ölçebilseydik, gözlemlenecek olan gerçek puanı U ile gösterelim.
Kapsam geçerlik indeksi nasıl hesaplanır
Kapsam geçerliliği Davis tekniği
Kapsam Geçerlik indeksi
Ölçek geliştirme çalışmalarında kapsam geçerliği için kapsam Geçerlik indekslerinin kullanılması
Yapı geçerliliği nedir
Kapsam geçerliliği nasıl ölçülür
Lawshe tekniği
Kapsam geçerliği uzman görüşü
İstenen korelasyon, mükemmel bir şekilde ölçülen değişkenler arasındaki popülasyon korelasyonudur, yani ρTU, ancak gözlenen korelasyon, gözlemlenen puanlar arasındaki örnek korelasyondur rxy. Birini diğeriyle ilişkilendirmede iki adım vardır: nüfus korelasyonunun ölçüm hatasıyla sistematik olarak azaltılması ve örnekleme hatasıyla üretilen sistematik olmayan varyasyon.
Sistematik zayıflama, x’ten T’ye ve U’dan y’ye nedensel yollar dikkate alınarak hesaplanabilir. Yol analizi kurallarına göre, ρxy, x’ten y’ye giden üç yolun çarpımıdır.
Burada ec, düzeltilmiş korelasyon rc’deki örnekleme hatasıdır ve burada popülasyon değeri ρc = ρTU. Düzeltilmiş korelasyon için hata varyansı daha sonra düzeltilmemiş korelasyonlar için hata varyansından ve iki değişkenin güvenilirliklerinden hesaplanabilir.
Bu nedenle, zayıflama için gözlemlenen korelasyonu düzeltirsek, buna bağlı olarak örnekleme hatasını da artırırız. Özellikle, düzeltilmiş bir korelasyonun güven aralığını oluşturmak için, düzeltilmemiş korelasyon için güven aralığının iki uç noktasına düzeltme formülünü uygularız. Diğer bir deyişle, zayıflama düzeltmesi durumunda, korelasyonun nokta tahminini güvenilirliklerin kareköklerinin çarpımına böldüğümüz gibi, güven aralığının her uç noktasını aynı ürüne böleriz.
Zayıflama için Düzeltme Örneği
Kurumsal bağlılık ve iş tatmini mükemmel bir şekilde ölçülseydi, gerçek puanlar arasındaki korelasyonun ρTU = .60 olacağını varsayalım. Bunun yerine kurumsal bağlılığı rxx = .45 güvenilirlik ile ve iş memnuniyetini ryy = .55 güvenilirlik ile ölçtüğümüzü varsayalım. O zaman gözlemlenen puanlar arasındaki popülasyon korelasyonu olacaktır.
Yani, bu örnekteki ölçüm hatasının etkisi, gerçek puanlar arasındaki korelasyonu %50 oranında azaltmaktır, gerçek puan popülasyon korelasyonu .60’dan, gözlemlenen puanlar arasındaki .30 çalışma popülasyon korelasyonuna bakılır.
Diğer bir deyişle, zayıflama için düzeltme, popülasyon korelasyonları için mükemmel şekilde çalışır; örnek boyutu sonsuz olduğunda tamamen doğrudur. Örnekleme hatasının etkisini düşünün. Çalışma için örneklem büyüklüğü N = 100 ise, gözlemlenen korelasyonun standart hatası (ρxy = .30’dan) (1 − .302 )/√99 = .091’dir. Bu nedenle, gerçek çalışmada .20’lik bir korelasyon gözlemlemek alışılmadık bir şey değildir. .20’lik gözlemlenen korelasyonu, istenen .60’lık korelasyonla karşılaştırırsak, büyük bir hata olduğunu görürüz.
Ancak bu hata iki bileşene ayrılabilir: sistematik zayıflama hatası ve örnekleme hatasından kaynaklanan sistematik olmayan hata. Sistematik hata, korelasyonu .60’tan .30’a düşürdü. Sistematik olmayan hata, gözlemlenen .20 r ile popülasyon zayıflatılmış korelasyon .30 arasındaki farktır. Zayıflamayı düzeltelim ve düzeltilmiş korelasyondaki hataya bakalım.
Bu nedenle, zayıflatılmamış korelasyonu tahmin etmek için gözlemlenen zayıflatılmış korelasyonu iki katına çıkarırken, örnekleme hatasını da iki katına çıkardık. Öte yandan sistematik hatayı .30’dan 0’a düşürdük. Her iki hata türünü de birleştirip toplam hataya bakabiliriz. Toplam hata %50 oranında azaltıldı.
Gözlenen korelasyon için %95 güven aralığı, r ± 1.96σe = .20 ± 1.96(.096) veya .01 ≤ ρ ≤ .39 olarak verilir ve bu, ρxy = .30’un gerçek değerini içermez. Daha sonra elde edilecek güven aralığının her uç noktasını düzeltiriz.