Metodolojik Zayıflıkları Olan Çalışmalarda Ne Yapılmalıdır?
Cooper, metodolojik olarak zayıf çalışmaları hariç tutma girişimlerinde dikkatli olmak için başka bir nedene dikkat çekti. Bu tür kararları vermek için değerlendiriciler, metodolojik kalite konusunda her çalışmayı yargılamalı ve derecelendirmelidir. Cooper (1998), araştırma kalitesi yargıları için değerlendiriciler arası anlaşmaya ilişkin araştırmanın, deneyimli değerlendiriciler arasındaki ortalama korelasyonun, metodolojik kalite değerlendirmelerinin öznelliğini gösteren en iyi ihtimalle yaklaşık .50 olduğunu gösterdiğini belirtti.
Spearman-Brown formülüne dayalı olarak, yaklaşık .85'lik bir güvenilirlik elde etmek için altı değerlendiricinin kullanılmasını gerektirecektir. Çoğu meta-analiz, altı deneyimli yargıcın kayda değer zaman ve çabalarından yararlanamayacak. Daha az sayıda yargıç kullanılması, genellikle, yasaklayıcı sayıda kabul edilebilir çalışmanın hatalı olarak elenmesiyle sonuçlanacaktır.
Metodolojik zayıflıklar sorunu, ilgili ve alakasız çalışmalar sorunundan ayrılmalıdır. İlgili çalışmalar, çıkar ilişkisine odaklanan çalışmalardır. Örneğin, kişi rol çatışması ve iş tatmini arasındaki ilişkiyle ilgileniyorsa, yalnızca rol çatışması ve örgütsel özdeşleşme ölçümleri arasındaki korelasyonları bildiren çalışmalar ilgisiz oldukları için hariç tutulmalıdır. (Bu tür araştırmalarla yeterince karşılaşılırsa, elbette, rol çatışması ile örgütsel özdeşleşme arasındaki ilişkinin ayrı bir meta-analizi yapılabilir.)
Farklı bağımlı değişken yapılarının ölçümleri normalde aynı meta-analizde birleştirilmemelidir, ancak eğer öyleyse, kavramsal olarak farklı her bağımlı değişken için ayrı meta-analizler de rapor edilmelidir. Glass ve arkadaşları, farklı bağımlı değişken yapılarını birleştirir ve bu konuda ciddi biçimde eleştirilirler. Elma ile armudu karıştıran meta-analizlerin yorumlanmasının zor olduğu doğru olsa da, her bir bağımlı değişken yapısı için daha sonra ayrı meta-analizler sunulduğu sürece herhangi bir zararı yoktur.
Genel olarak, farklı bağımsız değişkenleri karıştırmayan meta-analizlerin de bilgilendirici olma olasılığı daha yüksektir. Ancak soru basit değil. Örneğin, sözel yetenek ve iş performansı arasındaki ilişkiye ilişkin meta-analizlerimizde, diğer yeteneklere dayalı iş performansı korelasyonlarını (örneğin, nicel yetenek ölçümleri) hariç tuttuk.
Bizim amaçlarımız için, bu tür korelasyonlar önemsizdi. Bununla birlikte, daha sonra, sözel yetenek için korelasyonların ortalama ve standart sapmasının, nicel yetenek için ortalama ve standart sapmaya çok benzer olduğunu bulduk. Ayrıca, her iki tür ölçümün de geçerliliğinin, her ikisinin de genel zihinsel yeteneğin ölçüleri olması gerçeğinden kaynaklandığını da bulduk.
Nitel araştırma KODLAMA örnekleri
Kodlama Cetveli Örneği
Nitel araştırmada tema oluşturma
MAXQDA Nitel Veri Analizi
Nitel araştırmacılar için Kodlama El Kitabı PDF
Tematik kodlama nedir
Nitel araştırmada kodlama nasıl yapılır
Nitel veri analizi
Her ne kadar böyle bir analiz yapmamış olsak da, bu bulgular “g-yüklü” testler ile iş performansı arasındaki ilişkinin meta-analizini içeren her iki tür ölçümü de içeren bir meta-analiz için bir gerekçe sağlamaktadır. Mesele şu ki, farklı yapıları bir teorik perspektiften değerlendiren ölçümler, aynı yapıyı başka bir teorinin perspektifinden değerlendirebilir.
Ayrıca, ikinci teori anlamada bir ilerlemeyi temsil edebilir. Bu nedenle, bir meta-analizde yer alan bağımsız ve bağımlı değişken ölçülerinin ne kadar çeşitli olması gerektiği sorusu, ilk bakışta göründüğünden daha karmaşık ve incelikli bir sorudur. Cevap, araştırmacının belirli hipotezlerine, teorilerine ve amaçlarına bağlıdır.
Glass, araştırma konusunun meyve olması durumunda elma ile portakalın karıştırılmasında sakınca olmadığını belirtmiştir. Bu ifade bizim konumumuzla uyumludur. Ancak Glass, aynı meta-analizde farklı yapılar gibi görünen bağımsız ve bağımlı değişken ölçümlerinin dahil edilmesinin uygun olabileceğini savunarak burada sunulan teori temelli mantığın ötesine geçer.
Spesifik olarak, bu tür geniş, karışık meta-analizlerin bir araştırma literatürünü geniş vuruşlarla özetlemede haklı ve yararlı olabileceğini savunuyor. Bununla birlikte, dahil ettiğimiz çoğu araştırmacı, genellikle bu tür geniş kapsamlı araştırma özetlerini, daha odaklı meta-analizler kadar bilgilendirici bulmamaktadır.
En azından başlangıçta, belirli bir araştırma alanındaki meta-analizler muhtemelen o alandaki araştırmacılar tarafından tanınan ana yapılara karşılık gelecek kadar dar ve odaklanmış olmalıdır. Daha sonra, anlayış geliştikçe, teorik olarak uygun olduğu gösterilirse sonraki meta-analizler kapsam olarak daha geniş hale gelebilir.
Meta-Analizde Kodlama Çalışmaları
Birincil çalışmalardan elde edilen verileri kodlama süreci genellikle karmaşık, sıkıcı ve zaman alıcı olabilir. Bununla birlikte, meta-analizin kritik bir bileşenidir ve uygun ve doğru bir şekilde yapılması esastır. Stock (1994) ve Orwin (1994), birincil çalışmalardan elde edilen bilgilerin kodlanmasında yer alabilecek birçok husus, karar ve alt görevin ayrıntılı tartışmalarını sundu. Cooper'ın (1998) kodlamadaki bazı konuların daha kısa bir tartışmasını sunar.
Gerekli kodlamanın karmaşıklığı, meta-analizin altında yatan hipotezlere ve amaçlara bağlıdır ve bu da kodlama sorunlarının genel ayrıntılı tartışmasını zorlaştırır. Çalışmalar birçok boyutta farklılık gösteriyorsa, meta-analiz birkaç farklı ilişkiye odaklanır ve birçok çalışma özelliğinin çalışma sonuçlarını etkileyebileceğine inanmak için nedenler varsa, kodlama görevi genellikle oldukça karmaşık olacaktır.
Öte yandan, çalışmaların oldukça benzer olduğu araştırma literatürlerinde kodlama nispeten basit olabilir, odak tek bir iki değişkenli ilişkidir ve bu ilişkinin moderatörlerinin varsa da çok az olacağına inanmak için neden vardır. Böyle bir durumda, birkaç çalışma özelliğinin kodlanması gerekir, bu da kodlama görevinin kapsamını büyük ölçüde azaltır.
Bu ayrım, kodlayıcı anlaşması konusunda geçerlidir. Whetzel ve McDaniel (1988), ikinci tipteki çalışmalar için kodlayıcılar arası anlaşmanın ve kodlayıcılar arası güvenilirliğin neredeyse mükemmel olduğunu bulmuşlardır. Bu çalışmanın sonucu, bu tür araştırma literatürleri için kodlayıcılar arası anlaşma veya güvenilirliği bildirmeye gerek olmadığıydı.
Daha karmaşık kodlama görevlerinde bile, genel bulgu, kodlayıcı uyumu ve güvenilirliğinin tipik olarak oldukça iyi olduğu yönünde olmuştur. Ancak bu bulgular, çalışmaların daha nesnel yönlerinin kodlanması için geçerlidir. Daha önce belirtildiği gibi, genel çalışma metodolojik kalitesinin değerlendirilmesi gibi subjektif değerlendirmeler çok daha düşük bir anlaşma sağlar.
Ancak bir çalışmada, kodlayıcıların çalışmaların yöntem bölümlerini okumaya dayalı çalışmalarda psikolojik aracılar hakkında güvenilir bir şekilde çıkarımsal yargılarda bulunabildikleri ve bu yargıların meta-analizlerde önemli moderatör değişkenleri ortaya çıkardığı bulunmuştur.
Analoji
SÇP içeriklerinin gerekli unsurlarının biraz daha ayrıntılı bir açıklamasına geçmeden önce, ilk olarak genel bir konu tartışılmalıdır. Bu sorun, SOP’lerin organizasyonu ile ilgili olarak gerekli veya istenen detay seviyesi sorusuyla bağlantılıdır.
Bu bağlamda iki yol öngörülebilir: Ya her bir faaliyet bir SÇP’de tam olarak tanımlanabilir veya benzer faaliyetlerin genel bir açıklaması tek bir SÇP’de birleştirilebilir.
Bu sorun, teknik ekipman için SÇP’ler düşünüldüğünde en belirgin hale gelir; burada ya bir tür alet için bir genel SÇP yayınlayabilir ya da bu türden her bir aygıt parçası için özel SÇP’ler yazabilirsiniz. Analoji, bir çalışma planı ile çalışmaya özgü uzantıları olan kısa süreli çalışmalar için “genel çalışma planı” arasında kurulabilir.
Bu iki olasılık için en belirgin örnek olarak, terazilerdeki SOP’larla başa çıkmanın farklı yolları, bunların bakımı ve kalibrasyonu gösterilebilir: Bir yandan, bir testteki her bir terazi için belirli SÇP’ler yayınlamak kesinlikle mümkündür. tesis. Terazilerin her birinin kullanımı, bakımı ve kalibrasyonu için farklı SOP’ların olabileceği bile düşünülebilirdi.
İlgili terazinin yanına yalnızca gerçekten doğru SÇP’nin konulacağına dair hiçbir soru olmadığından ve bu özel aletle kullanılacak prosedürler hakkında yanlış anlaşılma olamayacağından, bu olasılığın belirli avantajları olduğu düşünülebilir.
Hikayeleştirilmiş analoji örnekleri
Analoji ne demek
Analoji Nedir örnek
Analoji tekniği
Analoji TDK
Felsefede analoji nedir
Analoji benzetim örnekleri
Sembolik analoji
Öte yandan, büyük bir test tesisi çok sayıda terazi ile donatılabilir ve bunların büyük bir kısmı aynı yapı ve tipte olabilir. SOP’lar bu dengeleri ayrı ayrı ele alacak olsalardı, sayılarındaki enflasyon, özellikle bu SOP’ların olası revizyonları açısından, kaçınılmaz olarak kontrol kaybına yol açacaktır.
Farklı laboratuvarlarda farklı zaman noktalarında kendilerine yapılan çeşitli revizyonları takip etmek imkansız değilse de zorlaşacak ve sonuç olarak aynı anda farklı yerlerde farklı prosedürler uygulanabilecektir. Ayrıca, çok benzer başlıklara ve aynı uygulama alanlarına sahip çok sayıda SÇP nedeniyle SÇP’lerin genel listesinin araştırılması zor olacaktır.
Öte yandan, genel olarak bakiyelerle ilgilenecek tek bir SOP oluşturulabilir. Bu durumda, SÇP sadece aletlerin kullanımı, kalibrasyonu ve bakımı için prosedürleri genel terimlerle tarif etmekle kalmaz, aynı zamanda özel terazi tipleri veya modelleri ile gözlemlenecek daha özel noktalar özel bölümlerde açıklanabilir.
Ayrıca, SÇP, türler ve konumlar hakkında gerekli tüm bilgilerle birlikte uygulandığı tüm dengelerin bir listesini içermelidir. Bu şekilde, bir SÇP, bir test tesisinde her türden teraziyle bağlantılı tüm faaliyetleri kapsayabilir.
“Ayrıntı seviyeleri” sorunuyla başa çıkmanın bu iki yolu da kesinlikle bir olasılıklar sürekliliğindeki aşırılıklar olarak kabul edilmelidir ve yine test tesisi yönetiminin sorumluluğu üzerinde kılavuzlar yayınlamak olabilir. ilerlemek için tercih edilen yöndür. Ama şimdi bu bölümün asıl konusuna, SOP’nin içeriğine dönelim.
Temel olarak, bir SÇP, başlık, sürüm numarası, yazar ve tüm onay tarihleri ve imzalar gibi daha idari bölümlerin yanı sıra iki mantıksal bölüm içermelidir: Birincisi, SÇP’nin nedenini veya amacını sağlamalıdır. ikincisi düzenlenecek faaliyeti tanımlamalıdır. Bu tavsiye basit görünse de, ona uymak o kadar kolay değildir, çünkü yukarıda değinilen soru, bu faaliyetlerin ne düzeyde detaylandırılması gerektiği hemen ortaya çıkmaktadır.
GLP İlkeleri, SÇP’lere dahil edilecek ayrıntı miktarı konusunda sessizdir, ancak “personelin gerçekleştirecekleri işlevleri açıkça anlamasını” ve “teknik olarak geçerli Standart İşletim Prosedürlerinin … “SÇP’nin eğitimli laboratuvar personelinin sadece anlayacağı değil, aynı zamanda burada açıklanan görevleri tek tip bir şekilde yerine getirebileceği şekilde yeterince ayrıntılı olması gerektiği şeklinde okunmalıdır.
Bu nedenle, gerçekleştirilecek tüm önemli adımlar, bu faaliyetlerin performansının net bir şekilde yeniden yapılandırılmasına izin verecek şekilde açıklanmalıdır. Ancak bu amaca ulaşmak farklı yaklaşımlar gerektirebilir.
Bir yandan, özellikle test tesisinde veya belirli bir çalışma türü için geliştirilmiş olan karmaşık bir faaliyet veya prosedür için çok ayrıntılı bir kılavuz oluşturmak önemli olacaktır. Öte yandan, oldukça rutin nitelikteki daha genel faaliyetler için, açıklamanın sadece izlenecek adımların bir sıralanmasından daha kapsamlı olması gerekmez.
“Kalibrasyon” konusunu bu ayrımların gösterilebileceği güzel bir örnek olarak değerlendirebiliriz. Terazinin kalibrasyonu, terazi üzerine doğru kalibrasyon ağırlığının yerleştirilmesinden ve belirtilen ilgili değerin okunmasından fazlasını içeremez.
Böylece, ilgili SOP oldukça basit tutulabilir. Biyolojik bir matriste test öğesinin kantitatif tespiti için bir HPLC aparatının kalibrasyonu, bununla birlikte, daha karmaşık ve hassas manipülasyonları içerecektir, böylece tüm prosedürün çok daha ayrıntılı bir açıklaması kesinlikle tavsiye edilebilir olmalıdır.
Faaliyetlerin tanımında, SÇP’lerin taslaklarının hazırlanmasında sıklıkla gözden kaçan bir başka husus daha vardır. Çoğu durumda, SÇP, kesin bir sonuç üreten bir faaliyet içerdiği için bir prosedürü tamamen basit bir şekilde tanımlayabilir. Ancak diğer durumlarda durum farklıdır, çünkü prosedür, bir seçimin yapılmasının gerekeceği bir “ya / ya da” durumuyla sonuçlanır.
Bu özellikle, sonuçları spesifikasyonlarının içinde veya dışında olabilen aletlerin kalibrasyonları için geçerlidir. Bu tür SÇP’lerin yalnızca enstrümanı kalibre etmek için gerçek prosedürü tanımlamaması, aynı zamanda iki ek noktada tam olarak tavsiyede bulunmaları son derece önemlidir:
- 1) Beklenen kalibrasyon değerinden kabul edilebilir sapma büyüklüğü ve
- 2) Kalibrasyon kabul edilemez bir değerle sonuçlanırsa atılması gereken adımlar.
Başka bir örnek olarak, bir dizi biyolojik veya fiziko-kimyasal parametrenin ölçümü, eğer ilk okumalardan elde edilen sonuçlar bunların geçerliliği hakkında şüpheye yol açıyorsa, ölçümlerin tekrarlanmasının geleneksel olduğu yerlerde verilebilir. Yukarıda açıklananla aynı ruhla, ölçümlerin tekrarına ilişkin kararlar, ilgili SÇP’lerde tam olarak açıklanması gereken açık kriterlere dayanmalıdır.
Bu ölçüm tekrarları problemi ile bağlantılı olarak, orijinal ve tekrar tespitlerinde elde edilen farklı değerlerden hangisinin daha sonra nihai hesaplamalarda kullanılması veya son olarak rapor edilmesi gerektiği sorusu ortaya çıkar.