Uygun Güvenilirlik Katsayının Kullanılması
Araştırmacı, ölçme hatası için düzeltmeler yaparken, uygun türde güvenirlik katsayısını kullanmak için her türlü çabayı göstermelidir. Farklı hesaplama güvenilirliği katsayıları yöntemleri, farklı ölçüm hatası türlerini (kaynaklarını) değerlendirir. Uygun güvenirlik katsayısının tahmini, belirli araştırma alanındaki ölçüm hatası türlerinin belirlenmesini ve her tür ölçüm hatasının güvenirlik katsayısına yansıtılmasına izin veren verilerin toplanmasını gerektirir.
Çoğu güncel meta-analizde, analiz birimi kişidir (veya sıçan veya güvercin veya ) ve ölçülen değişken kişinin bazı davranışlarıdır. Bu vaka için, psikometristler tarafından geliştirilen kapsamlı bir güvenilirlik teorisi vardır ve bu teorinin kapsamlı testleri yapılmıştır.
Bu yazı dizisinde tartışılan durum budur. Ancak diğer alanlarda meta-analizler yürütülmektedir. Örneğin, Rodgers ve Hunter (1986), ölçülerin iş birimi verimlilik ölçüleri olduğu bir meta-analiz yürütmüştür.
Her iki meta-analizde de, ölçüm birimi bireysel çalışan değil, iş birimiydi (örneğin, bireysel mağazalar veya bireysel banka şubeleri) ve her iki meta-analizde de özel güvenilirlik tahmin prosedürlerinin kullanılması gerekiyordu. Ancak, bu tür durumlar istisnadır. Çalışmadaki analiz biriminin, olağan durum olan kişiler olduğunu varsayalım.
Ölçü genellikle üç yoldan biriyle elde edilir: davranış doğrudan kaydedilir (burada “yanıt verileri” olarak adlandırılan test puanlarında veya kapalı uçlu anket cevaplarında olduğu gibi), bir gözlemci tarafından değerlendirilir (burada “karar veya derecelendirme” olarak adlandırılır) veya bir gözlemci tarafından gözlemlenir ve kaydedilir (burada “kodlanmış yanıt verileri” olarak adlandırılır). Güvenilirlik konuları duruma göre farklılık gösterir.
Yanıt Verileri. Tepki verileri davranışı, ölçülecek değişkenin bu davranışı belirleyen birincil nedensel ajan olduğu varsayımı altında belirli bir değişkenin ölçümü için kullanılır. Davranış diğer nedensel ajanlar tarafından belirlendiği ölçüde ölçüm hatası mevcuttur. Psikometrik teori tarafından en az üç tür hata tanımlanmıştır: rastgele yanıt hatası, özel hata ve geçici hata.
Her yerde bulunan hata ajanı, davranıştaki rastgeleliktir. Adını vermek gibi oldukça pratik tepkiler dışında, çoğu insan eyleminin oldukça büyük bir rastgele öğesi vardır. Buna “rastgele yanıt hatası” denir. Rastgele yanıt hatası, insan sinir sistemindeki gürültü olarak düşünülebilir.
Ölçeklerde güvenirlik ve Geçerlik
Güvenilirlik analizi nasıl yapılır
Geçerlilik ve güvenilirlik KPSS
Geçerlik ve güvenirlik nedir
Cronbach alpha güvenirlik katsayısı
Güvenirlik katsayısı
Güvenilirlik nedir
Güvenirlik katsayısı formülü
Bazen davranış, ölçüm durumuna özgü bir şeyden etkilenir, örneğin bir görüş maddesinde kullanılan belirli kelimelerden birine özel bir tepki. Bu tür duruma veya uyarana özel ajanların etkisine “spesifik hata” (veya spesifik faktör hatası) denir. Spesifik faktör hatası, bir ölçüdeki bireysel öğelerle ilişkilendirilir. (Aslında kişi bazında etkileşimdir.)
Bir değişkeni ölçmek için her farklı ölçeğin, o ölçeğe özgü belirli faktör ölçüm hatası da vardır. Bazen davranış, ruh hali veya hastalık gibi zaman içinde rastgele değişen bir etkiden etkilenir. Zamanla değişen bir faktörün etkisine “geçici hata” denir. Bu üç ölçüm hatası biçiminin her biri, güvenilirliği ölçmek için geleneksel olarak kullanılan tasarımlara farklı şekilde girer.
Bir tasarım, belirli bir ölçüm oturumunda birden fazla yanıt elde ederek hatayı görünür kılar; ölçülecek değişkenin nedensel etkisinin boyutunda eşdeğer olan çeşitli durumlara veya uyaranlara (örneğin öğeler) yönelik davranışları ortaya çıkarır. Bağımsız yanıtlar, rastgele yanıt hatasının bağımsız örneklenmesine ve belirli hatanın bağımsız örneklenmesine izin verir.
Böylece, bu tasarımdan hesaplanan güvenilirlik, rastgele yanıt hatasının ve spesifik hatanın kapsamını tespit eder ve ölçer. Ancak, geçici bir hata varsa, bu tasarım onu algılamayacaktır; bu nedenle, güvenirlik katsayısı, göreli geçici hata miktarı tarafından çok büyük olacaktır.
Daha iyi bir dil, “güvenilirlik” kelimesinin yerine “güvenilirlik tahmini” ifadesinin yerini alacak olsa da, bu güvenilirlik biçimine uygun şekilde “paralel biçimler güvenilirliği” denir ve yanlış bir şekilde “iç tutarlılık güvenilirliği” olarak adlandırılır. Bu güvenirlik biçimi genellikle Cronbach alfa katsayısı veya KR-20 katsayısı (iki ayrı yanıtlanan maddeler için eşdeğer katsayı) kullanılarak değerlendirilir. Cronbach (1947) bu tür güvenirliğe eşdeğerlik katsayısı (CE) olarak atıfta bulunmuştur.
Diğer bir yaygın tasarım, test-tekrar test tasarımıdır. Bir davranış, aynı ölçekle, geçici hata faktörünün tekrarlanmaması için yeterince uzak, ancak ölçülecek değişkende önemli bir değişiklik olmaması için zaman içinde yeterince yakın olan iki noktada ölçülür. İki önlem, rastgele yanıt hata dağılımından yeni (bağımsız) örneklemeye ve geçici hata dağılımından yeni (bağımsız) örneklemeye izin verecektir.
Ancak, belirli bir hata varsa, bu tasarım onu algılamayacaktır; bu nedenle, güvenilirlik katsayısı, belirli hatanın göreli miktarı tarafından çok büyük olacaktır. Her iki zamanda da aynı ölçeğin (alet) kullanılması nedeniyle 1. ve 2. zamanlarında aynı spesifik hatalar meydana geldiğinden, spesifik faktör ölçüm hatası tespit edilmez. Bu güvenilirlik biçimine “test-tekrar test güvenilirliği” denir, ancak daha iyi bir dil “güvenilirlik” kelimesinin “güvenilirlik tahmini” ifadesinin yerini alabilir. Cronbach (1947), bu tür güvenilirlik tahminine kararlılık katsayısı (CS) olarak atıfta bulunmuştur.
Her üç tür ölçüm hatası da mevcutsa, doğru güvenilirlik yalnızca hem belirli hatanın durumsal belirleyicilerinin hem de geçici hatanın zamansal belirleyicilerinin yeniden örneklendiği bir tasarımla elde edilecektir. Bu, “gecikmeli paralel formlar” tasarımıdır. Cronbach (1947) bu tür güvenilirlik tahminine denklik ve kararlılık katsayısı (CES) olarak atıfta bulunmuştur. Ölçünün iki biçimi ve iki durum göz önüne alındığında, üç tür hatanın her birinin kapsamını ayrı ayrı tahmin etmek mümkündür.
Her üç tür hata da mevcutsa, gecikmeli paralel formlar güvenilirliği (CES), paralel formlar güvenilirlik tahmininden veya test-tekrar test güvenilirlik tahmininden daha küçük olacaktır. Yanlış güvenilirlik tahmini kullanmanın etkisi, ölçüm hatasının etkisini hafife almaktır. Bu nedenle, yanlış güvenilirliği kullanan düzeltme, bazı hata kaynaklarının kalibre edilmediği ve sonuç olarak, bu hata kaynağından kaynaklanan zayıflama için korelasyonun düzeltilmediği anlamına gelir.
Yani, yanlış güvenilirliği kullanan düzeltme, düzeltilmiş bağıntının yapılar arasındaki gerçek bağıntıyı buna uygun olarak hafife alacağı anlamına gelir. Bu, elbette, meta-analizdeki ortalama korelasyon tahminlerinde aşağı yönlü bir yanlılığa neden olacaktır.
Birincil araştırmacı veya meta-analist, CES tahminleri mevcut olmadığı için CE veya CS güvenilirlik tahminlerini kullanmaya zorlanırsa, çalışma veya meta-analiz, ölçüm hatası için tam düzeltmenin mümkün olmadığına ve rapor edilen sonuçların doğru olduğuna işaret etmelidir. bu nedenle muhafazakardır (yani, aşağı yönlü bir önyargıya sahiptir). Rapor ayrıca, ölçüm hatası için bu tür eksik bir düzeltmenin, ölçüm hatası için herhangi bir düzeltme yapmamaktan çok daha doğru sonuçlar verdiğine işaret etmelidir.