Değerlendiricilerin Yargıları
İş performansı gibi bir yapı, kişinin doğrudan amiri gibi bir gözlemci tarafından değerlendiriliyorsa, o zaman ölçümde iki hata kaynağı vardır: yargıda hata ve değerlendiricinin algısında kendine özgülük. İlk olarak, yargının kendisi puanlayıcı tarafından verilen bir yanıttır ve bu nedenle rastgele yanıt hatasına tabidir ve potansiyel olarak derecelendirme ölçeği maddelerinde belirli hatalara ve geçici hataya tabidir.
Bu ikinci kaynaklar, yalnızca bir değerlendiriciden gelen verileri dikkate alan veri yöntemleriyle değerlendirilen tek hata kaynaklarıdır. İkincisi, hiçbir araştırma alanında, diğer insanlara ilişkin insan algısının, kendine özgü bir özelliği olmadığı kanıtlanmamıştır. Aslında, çoğu alanda, farklı değerlendiricilerin algılarında büyük farklılıklar vardır. Her değerlendirici (halo) ile ilişkili bu kendine özgü önyargı, değerlendirilmekte olan yapının bir parçası değildir ve bu nedenle ölçüm hatasıdır.
Bu ölçüm hatası biçimi, her değerlendiriciyle ilişkili belirli faktör hatası işlevi görür. Halo hatası olarak da adlandırılır. Bu nedenle, uygun güvenilirlik tahmini, her bir yargıç tarafından verilen yargıdaki rastgeleliğin yanı sıra algıdaki farklılıkları da hesaba katmalıdır. Yargıların güvenilirliğini tahmin etmenin uygun yolu, farklı puanlayıcılar tarafından bağımsız olarak yapılan yargıları ilişkilendirmektir.
Hakemler arasındaki korelasyon, kararlarda rastgele ölçüm hatası veya algı farklılıkları (halo hatası) olduğu ölçüde azalacaktır. Eğer iki yargı (“işin kalitesi” ve “işin miktarı”) iki değerlendirici tarafından yapılıyorsa, rastgele yanıt hatasının, maddeye özgü hatanın (bu iki derecelendirme ölçeğine özgü) etkisini ayrı ayrı tahmin etmek mümkündür.
Geçici hata varsa ve geçici hatanın nedeni iki yargıçta bağımsızsa (olağan durum), o zaman bu korelasyon geçici hata tarafından da uygun şekilde düşürülecektir, ancak geçici hata kendine özgü (halo) ile ayırt edilemeyecektir. hata. Bu durumda, güvenirliğe “değerlendiriciler arası güvenilirlik” denir, ancak buna da bir güvenilirlik tahmini denilmesi daha doğru olur.
Değerlendiriciler arası güvenilirlik, derecelendirmeler için CES’tir (gecikmeli paralel form güvenilirliği). Bu tür araştırmalar, iş performansının denetleyici derecelendirmeleri için değerlendiriciler arası ortalama güvenirliğin yaklaşık .50 olduğunu bulmuştur. Aynı puanlayıcı tarafından iki farklı zamanda yapılan puanların ilişkilendirilmesiyle tahmin edilen puanlayıcı içi güvenilirlik, çok daha yüksektir, ancak gerçek güvenilirliğin çok büyük bir tahminidir.
SPSS tablo YORUMLAMA örnekleri
Nitel veri analizinde Kodlama
Nitel analiz
Nitel araştırmada tema oluşturma
Veri hazırlama süreci aşamaları
Veri YORUMLAMA nedir
Aşağıdakilerden hangisi tanımlayıcı istatistiklerden biri değildir
Analiz yöntemleri Nelerdir
Kodlanmış Yanıt Verileri
Bazı davranışlar doğrudan kaydedilemeyecek kadar karmaşıktır. Bu nedenle, kullanılan veriler, davranışın bir gözlemcisi tarafından yapılan bir kodlamayı temsil eder. Örneğin, konuya gösterilen bir resimden esinlenen bir hikayede ifade edilen başarı ihtiyacının kapsamını kodlayabiliriz. Farklı gözlemciler tarafından yapılan kodlamalar arasındaki farklılıklara “kodlama hatası” denir. Bu bağlamda sıklıkla yapılan kritik bir hata, yalnızca kodlayıcılar arasındaki farkı hata olarak kabul etmektir.
Kodlama hatası ölçümde önemli bir hata kaynağı olmakla birlikte, kodlanan davranışta rastgele yanıt hatası, spesifik hata ve geçici hata da vardır. Örneğin, kodlayıcıların çok iyi eğitildiklerini ve hikayelerde yer alan başarı motivasyonu miktarına ilişkin değerlendirmelerinde .95’lik bir korelasyonu kabul ettiklerini varsayalım.
Ancak, bir haftadan diğerine, aynı kişi tarafından anlatılan ardışık öykülerdeki başarı imgeleri arasında yalnızca .40’lık bir korelasyon olduğunu varsayalım. .95’in “güvenilirliği”, hikayeler icat etmedeki bu istikrarsızlığı (rastgele yanıt hatası ve geçici hata) yansıtmaz ve bu nedenle söz konusu gerçek güvenilirliği büyük ölçüde abartır.
Meta-analiz için ölçüm hataları ve güvenilirlik tahminleriyle ilgili bu gerçeklerin etkileri nelerdir? Diğer sistematik artefaktların aksine, ölçüm hatası her zaman mevcuttur. Ölçüm hatası için doğru düzeltmeler, doğru meta-analiz sonuçları için kritik öneme sahiptir.
Meta-analizde ölçüm hatası için düzeltmeler yapmak için uygun olmayan güvenilirlik tahminlerinin kullanılması, sonuçların doğruluğunun bir miktar kaybına yol açar. Örneğin, son araştırmalar, yaygın olarak kullanılan psikolojik ölçümlerde (örneğin kişilik ve yetenek ölçümleri) geçici ölçüm hatası olduğunu göstermektedir.
Bu, meta-analizde ölçüm hatasını düzeltmek için alfa katsayısı ve KR-20 güvenilirlik tahminlerini kullanmanın yaygın uygulamasının tipik olarak eksik düzeltmelere yol açtığı ve dolayısıyla ortalama korelasyon tahminlerinde aşağı yönlü bir sapma ürettiği anlamına gelir, çünkü alfa ve KR-20 katsayısı güvenilirlikler, geçici hatanın etkilerini algılamaz veya kaldırmaz.
Benzer şekilde, test-tekrar test güvenilirlik tahminlerinin kullanılması da, belirli faktör ölçüm hatalarının kontrol edilememesi nedeniyle eksik düzeltmelere yol açacaktır. İster her bir katsayı ayrı ayrı düzeltiliyor (bu bölümde açıklandığı gibi) veya güvenilirlik katsayılarının dağılımları kullanılıyor olsun (Bölüm 4’te açıklandığı gibi), ilgili tüm ölçüm hatası kaynakları dikkate alınmalı ve mümkün olduğu ölçüde mevcut verilerle, uygun güvenilirlik tahminleri yapılmalıdır.
Ne yazık ki, mevcut güvenilirlik tahminlerinin çoğu alfa katsayıları veya KR-20 tahminleridir (yani, CE tahminleri) ve bu nedenle geçici hatayı hesaba katmaz. CES katsayısının tahminleri literatürde nadirdir ve test kılavuzlarında bile yaygın değildir. Çeşitli ölçeklerde geçici hata miktarının tahminleri %4 ila %5 civarındadır. (Bu değerler, duygulanım özelliği ölçümleri için daha büyüktür.) Bu nedenle, CE tahminleri, Schmidt ve diğerlerinde önerildiği gibi, bu güvenilirlik tahminlerinden .04 veya .05 çıkarılarak geçici hata için ayarlanabilir veya düzeltilebilir.
Bununla birlikte, bu tür ayarlama rakamları (henüz) tüm terazi türleri için mevcut değildir. Bu nedenle, diğer alanlarda olduğu gibi araştırmalarda da “mükemmel olanın iyinin düşmanı olduğunu” akılda tutmak önemlidir. İdeal güvenilirlik tahminleri kullanılamadığı sürece, ölçüm hatası için herhangi bir düzeltme yapılmaması gerektiğini söylemek yanlış bir argüman olacaktır.
Daha önce belirtildiği gibi, CES tahminleri (gecikmeli paralel form tahminleri) daha uygun olduğunda katsayı alfa tahminlerinin (CE tahminleri) kullanılması, ölçüm hatasının sapma etkileri için herhangi bir düzeltme yapmamaktan çok daha doğru olan nihai sonuçlara yol açar. Ancak böyle bir durumda araştırmacı, ölçüm hatası için yalnızca kısmi bir düzeltmenin mümkün olduğunu ve bu nedenle elde edilen düzeltilmiş değerlerin aşağı yönlü bir sapma içerdiğini belirtmelidir.
Bir diğer önemli sonuç, derecelendirmeler kullanıldığında, değerlendiriciler arası güvenilirliklerin kullanılmasının, ölçüm hatası için çok ciddi eksik düzeltmelere yol açacağıdır. Bunu önlemek için her zaman puanlayıcılar arası güvenirlikler kullanılmalı ve (çok özel durumlar dışında) değerlendiriciler arası güvenirlikler kullanılmamalıdır. Ayrıca, artefakt dağılımı meta-analizinde, güvenilirlik artefaktı dağılımında asla iç ve değerlendiriciler arası güvenilirliklerin bir karışımı kullanılmamalıdır. Neyse ki, değerlendiriciler arası tahminler (testler ve ölçekler için CES tahminlerinden farklı olarak) yaygın olarak mevcuttur.
Kodlanmış yanıt verileri durumunda, güvenilirlik tahminlerinin önlemin iki ayrı uygulamasına dayalı olması kritik önem taşır. Yani, birinci kodlayıcı, 1. zamanda elde edilen yanıtları kodlamalıdır ve ikinci kodlayıcı, 2. zamanda elde edilen aynı kişilerden gelen yanıtları kodlamalıdır. Bu iki kodlama arasındaki korelasyon, kodlanmış yanıt verilerinin güvenilirliğinin tek doğru tahminini sağlar.
Her iki kodlayıcı da tek bir durumda elde edilen yanıtları kodlarsa, ortaya çıkan korelasyon güvenilirliği büyük ölçüde abartır ve meta-analiz tahminlerinde büyük bir aşağı yönlü sapmaya neden olur. Uygun olmayan güvenirlik tahminlerinin kullanımı bazı meta-analiz uygulamalarında bir problem olmuştur. Farklı türdeki güvenilirlik tahminlerinin hepsinin eşit derecede uygun olmadığını hatırlamak önemlidir.