Bulguları Çalışmalar ve İlgili Yazılımlar Arasında Entegrasyon Yöntemleri
Bu bölüm, çalışma sonuçlarını çalışmalar arasında entegre etmek için 10 farklı yöntemi sunar ve tartışır. Bu yöntemler, incelenen çalışmalardan ihtiyaç duyulan bilgilerin çıkarılmasında yaklaşık etkinlik sırasına göre (en azdan en çok etkiliye) sunulur ve tartışılır. Bu yöntemleri uygulamak için mevcut bilgisayar programları bu bölümün sonunda tartışılmaktadır.
Geleneksel Anlatı Prosedürü
En eski prosedür anlatı incelemesidir. Anlatı incelemesi “edebi”, “nitel”, “niceliksel olmayan” ve “sözel” olarak tanımlanmıştır. Bu prosedürde, gözden geçiren kişi her çalışmada rapor edilen sonuçları gerçek değerinden alır ve bulguları uzlaştıran kapsayıcı bir teori bulmaya çalışır. Yorumlanacak az sayıda çalışma varsa, bu entegrasyon mümkün olabilir.
Bununla birlikte, çalışmaların sayısı büyükse (50 ila 1.000), çalışmalar tasarım, ölçümler vb. açılardan neredeyse hiçbir zaman tam olarak karşılaştırılabilir olmayacaktır ve bulgular tipik olarak çalışmalar arasında görünüşte tuhaf şekillerde farklılık gösterecektir. Sonuç olarak, bilgi işleme görevi insan zihni için çok yorucu hale gelir. Sonuç genellikle üç sonuçtan biridir.
İlk olarak, sonuç “çalışmaların sözlü özetlerinin baş döndürücü listelerde sıralandığı yerde yaya incelemesi” olabilir. Yani, gözden geçiren kişi bulguları çalışmalar arasında birleştirmeye bile çalışmayabilir. İkincisi, gözden geçiren kişi, vardığı sonuçları çalışmaların sadece küçük bir alt kümesine dayandırarak bütünleştirme görevini basitleştirebilir. Gözden geçirenler, tasarım veya analiz açısından eksik olduğu için mevcut çalışmaların birkaçı hariç hepsini sıklıkla reddeder ve ardından “konunun gerçeği olarak kabul edilebilir bir veya iki çalışmayı ilerletir”.
Bu yaklaşım, haksız yere çok fazla bilgi israfına neden olur ve ayrıca, sonuçları temsili olmayan çalışmalara dayandırabilir. Üçüncüsü, gözden geçiren kişi, bulguları tüm çalışmalar arasında zihinsel olarak bütünleştirme görevini gerçekten deneyebilir ve yeterli bir iş yapamayabilir. Cooper ve Rosenthal (1980), incelenen çalışmaların sayısı yedi kadar az olduğunda bile, anlatı-söylemsel yöntemleri kullanan hakemlerin ve nicel yöntemleri kullanan hakemlerin farklı sonuçlara ulaştığını göstermiştir.
Geleneksel Oylama Yöntemi
Geleneksel oylama yöntemi, gözden geçirenin üzerindeki bilgi işleme yükünü hafifletmek için geliştirilen ilk tekniklerden biriydi. En basit haliyle, yalnızca önemli ve önemsiz bulguların bir tablosundan oluşur. Light ve Smith (1971) bu yaklaşımı şu şekilde tanımlamıştır:
Bir bağımlı değişkene ve ilgili belirli bir bağımsız değişkene ilişkin verileri olan tüm çalışmalar incelenir. Üç olası sonuç tanımlanmıştır. Bağımsız ve bağımlı değişken arasındaki ilişki ya önemli ölçüde pozitif, önemli ölçüde olumsuzdur ya da her iki yönde de anlamlı bir ilişki yoktur.
Bu üç kategorinin her birine düşen çalışmaların sayısı daha sonra basitçe hesaplanır. Çok sayıda çalışma bu üç kategoriden birine girerse, daha azı diğer ikisine düşerse, model kategorisi kazanan olarak ilan edilir. Bu model sınıflandırmasının daha sonra bağımsız ve bağımlı değişken arasındaki gerçek ilişkinin yönüne ilişkin en iyi tahminleri verdiği varsayılır.
Oylama yöntemi bazen çalışma sonuçlarının bağıntılarını belirleme girişiminde de kullanılır. Örneğin, eğitim yöntemi A’nın eğitim yöntemi B’ye göre daha üstün olduğu çalışmaların oranı erkekler ve kadınlar için karşılaştırılabilir.
Yorumlayıcı fenomenolojik analiz
Fenomenolojik araştırma örneği
Fenomenolojik analiz nedir
Fenomenolojik yaklaşım PDF
Anlatı araştırması nedir
Eğitimde fenomenolojik yaklaşım
Anlatı araştırması örnekleri
Klasik anlatı sineması özellikleri
Bu yönteme dayalı bir inceleme örneği Eagly’dir (1978). Oylama yöntemi, yalnızca küçük etki büyüklükleri gösterebilen büyük örneklemli çalışmalar lehine önyargılıdır. Örneklem büyüklüğündeki varyasyonun anlamlılık düzeylerinin yorumlanmasında sorunlara neden olmadığı ve oylama yönteminin doğru bir şekilde bir etkinin var olduğu sonucuna götürdüğü durumlarda bile, etkinin büyüklüğüne ilişkin kritik soru hala yanıtsız kalmaktadır.
Ancak oylama yöntemiyle ilgili en önemli sorun, yanlış sonuçlara yol açabilmesi ve vermesidir. Bir örnek düşünün. 144 çalışmanın meta analizine dayanarak, Pearlman, Schmidt ve Hunter (1980), genel zeka ile büro işinde yeterlik arasındaki korelasyonu .51 olarak buldular. Diğer bir deyişle, başvuran nüfusun tamamı kullanılarak mükemmel bir çalışma yapılsaydı ve tamamen güvenilir bir iş yeterliliği ölçüsü olsaydı, o zaman ölçülen zeka ve performans arasındaki korelasyon .51 olurdu.
Ancak adaylardan yeterlilik ölçütleri alınamamakta; performans sadece işe alınanlar üzerinde ölçülebilir. Çoğu kuruluş, başvuranların yarısından daha azını işe alır. İşe alınanların istihbarat dağılımının ilk yarısındaki kişiler olduğunu varsayalım. Ardından, aralıktaki kısıtlama nedeniyle, test ve performans arasındaki korelasyon .51 yerine yalnızca .33 olacaktır.
Ayrıca, iş performansının mükemmel ölçümlerini elde etmek de imkansızdır. Tipik olarak, mümkün olan en iyi ölçü, kişinin işini değerlendirecek kadar iyi bilen tek denetçinin değerlendirmesidir. Viswesvaran, Ones ve Schmidt’in (1996) incelemesine göre, çok maddeli bir derecelendirme ölçeği kullanan tek bir süpervizör tarafından yapılan bir derecelendirmenin değerlendiriciler arası ortalama güvenirliği .50’dir.
Bu, test ve performans arasındaki korelasyonun (.50)1/2(.33) = .23’e düşeceği anlamına gelir. Temelde ρxy = .23 olan bir popülasyon korelasyonu ile, bir dizi çalışmadaki ortalama istatistiksel güç kolayca .50’den az olabilir. 45 olduğunu varsayalım. Daha sonra, beklentiyle, çalışmaların %55’i -çoğunluk- anlamlı bir ilişki bulamayacaktı ve geleneksel oylama yöntemi, ilişkinin her çalışmada ρxy = .23 olmasına rağmen, yanlış bir şekilde hiçbir ilişki olmadığı sonucuna varacaktı.
Hedges ve Olkin (1980), gerçek bir etki varsa, ortalama istatistiksel gücün yaklaşık .50’den az olduğu herhangi bir çalışma grubunda, çalışma sayısı arttıkça oylama yöntemini kullanarak yanlış bir sonuca varma olasılığının arttığını göstermiştir. . Yani, ne kadar çok veri incelenirse, verilerin anlamı hakkında yanlış bir sonucun kesinliği o kadar artar.
Bu nedenle, geleneksel oylama yöntemi, istatistiksel ve mantıksal olarak ölümcül şekilde kusurludur. Oylama yöntemini kullanan hakemlerin tipik sonucu, araştırma literatürünün içler acısı bir durumda olduğudur. Bazı araştırmacılar sonuç alır; diğerleri yapmaz. Bazen belirli bir araştırmacı önemli sonuçlar alır, bazen almaz. Bu gözden geçirenler neredeyse her zaman daha fazla araştırmaya ihtiyaç olduğu sonucuna varırlar ve daha iyi araştırma tasarımları, daha iyi deneysel kontroller, daha iyi önlemler vb. için çağrılar yaparlar.