Blog

Metodolojik Zayıflıkları Olan Çalışmalarda Ne Yapılmalıdır? Cooper, metodolojik olarak zayıf çalışmaları hariç tutma girişimlerinde dikkatli olmak için başka bir nedene dikkat çekti. Bu tür kararları vermek için değerlendiriciler, metodolojik kalite konusunda her çalışmayı yargılamalı ve derecelendirmelidir. Cooper (1998), araştırma kalitesi yargıları için değerlendiriciler arası anlaşmaya ilişkin araştırmanın, deneyimli değerlendiriciler arasındaki ortalama korelasyonun, metodolojik kalite değerlendirmelerinin öznelliğini gösteren en iyi ihtimalle yaklaşık .50 olduğunu gösterdiğini belirtti. Spearman-Brown formülüne dayalı olarak, yaklaşık .85'lik bir güvenilirlik elde etmek için altı değerlendiricinin kullanılmasını gerektirecektir. Çoğu meta-analiz, altı deneyimli yargıcın kayda değer zaman ve çabalarından yararlanamayacak. Daha az sayıda yargıç kullanılması, genellikle, yasaklayıcı sayıda kabul edilebilir çalışmanın hatalı olarak elenmesiyle sonuçlanacaktır. Metodolojik zayıflıklar sorunu, ilgili ve alakasız çalışmalar sorunundan ayrılmalıdır. İlgili çalışmalar, çıkar ilişkisine odaklanan çalışmalardır. Örneğin, kişi rol çatışması ve iş tatmini arasındaki ilişkiyle ilgileniyorsa, yalnızca rol çatışması ve örgütsel özdeşleşme ölçümleri arasındaki korelasyonları bildiren çalışmalar ilgisiz oldukları için hariç tutulmalıdır. (Bu tür araştırmalarla yeterince karşılaşılırsa, elbette, rol çatışması ile örgütsel özdeşleşme arasındaki ilişkinin ayrı bir meta-analizi yapılabilir.) Farklı bağımlı değişken yapılarının ölçümleri normalde aynı meta-analizde birleştirilmemelidir, ancak eğer öyleyse, kavramsal olarak farklı her bağımlı değişken için ayrı meta-analizler de rapor edilmelidir. Glass ve arkadaşları, farklı bağımlı değişken yapılarını birleştirir ve bu konuda ciddi biçimde eleştirilirler. Elma ile armudu karıştıran meta-analizlerin yorumlanmasının zor olduğu doğru olsa da, her bir bağımlı değişken yapısı için daha sonra ayrı meta-analizler sunulduğu sürece herhangi bir zararı yoktur. Genel olarak, farklı bağımsız değişkenleri karıştırmayan meta-analizlerin de bilgilendirici olma olasılığı daha yüksektir. Ancak soru basit değil. Örneğin, sözel yetenek ve iş performansı arasındaki ilişkiye ilişkin meta-analizlerimizde, diğer yeteneklere dayalı iş performansı korelasyonlarını (örneğin, nicel yetenek ölçümleri) hariç tuttuk. Bizim amaçlarımız için, bu tür korelasyonlar önemsizdi. Bununla birlikte, daha sonra, sözel yetenek için korelasyonların ortalama ve standart sapmasının, nicel yetenek için ortalama ve standart sapmaya çok benzer olduğunu bulduk. Ayrıca, her iki tür ölçümün de geçerliliğinin, her ikisinin de genel zihinsel yeteneğin ölçüleri olması gerçeğinden kaynaklandığını da bulduk. Nitel araştırma KODLAMA örnekleri Kodlama Cetveli Örneği Nitel araştırmada tema oluşturma MAXQDA Nitel Veri Analizi Nitel araştırmacılar için Kodlama El Kitabı PDF Tematik kodlama nedir Nitel araştırmada kodlama nasıl yapılır Nitel veri analizi Her ne kadar böyle bir analiz yapmamış olsak da, bu bulgular “g-yüklü” testler ile iş performansı arasındaki ilişkinin meta-analizini içeren her iki tür ölçümü de içeren bir meta-analiz için bir gerekçe sağlamaktadır. Mesele şu ki, farklı yapıları bir teorik perspektiften değerlendiren ölçümler, aynı yapıyı başka bir teorinin perspektifinden değerlendirebilir. Ayrıca, ikinci teori anlamada bir ilerlemeyi temsil edebilir. Bu nedenle, bir meta-analizde yer alan bağımsız ve bağımlı değişken ölçülerinin ne kadar çeşitli olması gerektiği sorusu, ilk bakışta göründüğünden daha karmaşık ve incelikli bir sorudur. Cevap, araştırmacının belirli hipotezlerine, teorilerine ve amaçlarına bağlıdır. Glass, araştırma konusunun meyve olması durumunda elma ile portakalın karıştırılmasında sakınca olmadığını belirtmiştir. Bu ifade bizim konumumuzla uyumludur. Ancak Glass, aynı meta-analizde farklı yapılar gibi görünen bağımsız ve bağımlı değişken ölçümlerinin dahil edilmesinin uygun olabileceğini savunarak burada sunulan teori temelli mantığın ötesine geçer. Spesifik olarak, bu tür geniş, karışık meta-analizlerin bir araştırma literatürünü geniş vuruşlarla özetlemede haklı ve yararlı olabileceğini savunuyor. Bununla birlikte, dahil ettiğimiz çoğu araştırmacı, genellikle bu tür geniş kapsamlı araştırma özetlerini, daha odaklı meta-analizler kadar bilgilendirici bulmamaktadır. En azından başlangıçta, belirli bir araştırma alanındaki meta-analizler muhtemelen o alandaki araştırmacılar tarafından tanınan ana yapılara karşılık gelecek kadar dar ve odaklanmış olmalıdır. Daha sonra, anlayış geliştikçe, teorik olarak uygun olduğu gösterilirse sonraki meta-analizler kapsam olarak daha geniş hale gelebilir. Meta-Analizde Kodlama Çalışmaları Birincil çalışmalardan elde edilen verileri kodlama süreci genellikle karmaşık, sıkıcı ve zaman alıcı olabilir. Bununla birlikte, meta-analizin kritik bir bileşenidir ve uygun ve doğru bir şekilde yapılması esastır. Stock (1994) ve Orwin (1994), birincil çalışmalardan elde edilen bilgilerin kodlanmasında yer alabilecek birçok husus, karar ve alt görevin ayrıntılı tartışmalarını sundu. Cooper'ın (1998) kodlamadaki bazı konuların daha kısa bir tartışmasını sunar. Gerekli kodlamanın karmaşıklığı, meta-analizin altında yatan hipotezlere ve amaçlara bağlıdır ve bu da kodlama sorunlarının genel ayrıntılı tartışmasını zorlaştırır. Çalışmalar birçok boyutta farklılık gösteriyorsa, meta-analiz birkaç farklı ilişkiye odaklanır ve birçok çalışma özelliğinin çalışma sonuçlarını etkileyebileceğine inanmak için nedenler varsa, kodlama görevi genellikle oldukça karmaşık olacaktır. Öte yandan, çalışmaların oldukça benzer olduğu araştırma literatürlerinde kodlama nispeten basit olabilir, odak tek bir iki değişkenli ilişkidir ve bu ilişkinin moderatörlerinin varsa da çok az olacağına inanmak için neden vardır. Böyle bir durumda, birkaç çalışma özelliğinin kodlanması gerekir, bu da kodlama görevinin kapsamını büyük ölçüde azaltır. Bu ayrım, kodlayıcı anlaşması konusunda geçerlidir. Whetzel ve McDaniel (1988), ikinci tipteki çalışmalar için kodlayıcılar arası anlaşmanın ve kodlayıcılar arası güvenilirliğin neredeyse mükemmel olduğunu bulmuşlardır. Bu çalışmanın sonucu, bu tür araştırma literatürleri için kodlayıcılar arası anlaşma veya güvenilirliği bildirmeye gerek olmadığıydı. Daha karmaşık kodlama görevlerinde bile, genel bulgu, kodlayıcı uyumu ve güvenilirliğinin tipik olarak oldukça iyi olduğu yönünde olmuştur. Ancak bu bulgular, çalışmaların daha nesnel yönlerinin kodlanması için geçerlidir. Daha önce belirtildiği gibi, genel çalışma metodolojik kalitesinin değerlendirilmesi gibi subjektif değerlendirmeler çok daha düşük bir anlaşma sağlar. Ancak bir çalışmada, kodlayıcıların çalışmaların yöntem bölümlerini okumaya dayalı çalışmalarda psikolojik aracılar hakkında güvenilir bir şekilde çıkarımsal yargılarda bulunabildikleri ve bu yargıların meta-analizlerde önemli moderatör değişkenleri ortaya çıkardığı bulunmuştur.