Vaka Çalışması : Hassasiyetlerin ve Özgünlüklerin Birleştirilmesi
20 çalışmanın duyarlılıkları ve özgünlükleri sunulmuştur. Grafikten, duyarlılıkların nispeten homojen olduğu (neredeyse tüm güven aralıkları örtüşmektedir) görünürken, özgüllüklerin büyük ölçüde heterojen olduğu açıkça görülmektedir.
En basit analiz, çalışmalar arasında duyarlılık ve özgüllük tahminlerini ayrı ayrı bir araya toplar, ancak yalnızca tanı eşiğinde bir değişiklik yoksa uygundur. Tüm bu çalışmalar endometriyal kalınlıkların 5 mm'lik bir kesim noktası kullandığını iddia etse de, makine kalibrasyonu ve ölçüm tekniğindeki farklılıklar nedeniyle teşhis eşiğinde gözlemlenmeyen varyasyonların ortaya çıkması hala mümkündür.
20 çalışma boyunca duyarlılıklar ve özgüllükler arasındaki korelasyonu hesaplayarak bir eşik etkisini kabaca test edebiliriz. Duyarlılıkların ve özgüllüklerin normal olarak dağılmadığı durumlarda parametrik olmayan bir korelasyon tercih edilir: bu veriler için Spearman's rho'nun istatistiksel olarak anlamlı olmayan (P=0.6) 0·14 olduğu tahmin edilmektedir.
Duyarlılık
Yukarıda verilen formüller kullanılarak, birleştirilmiş duyarlılık ve standart hatası tahminleri bulunur. Ki-kare testi için beklenen minimum frekansların varsayımı karşılanmadığından (çoğu çalışmada yanlış negatif sayısı için beklenen değerler 5'ten az olduğundan), çalışmalar genelinde duyarlılıkların homojenliğini kontrol etmek için bir ki-kare testi kullanmak zordur. ve Fisher'in kesin testinin 220'lik bir tabloda hesaplanması, sayısal olarak önemsiz değildir.
Alternatif olabilirlik oranı testi, 19 serbestlik derecesinde 31.2'lik bir ki-kare değeri verir (P=0.04). Bu resmi olarak istatistiksel olarak anlamlı olsa da, sonuçlar arasındaki heterojenlik derecesi küçüktür ve yirmi çalışmadan yalnızca biri (Dorum) genel değeri kendi güven aralığına dahil etmez.
ROC grafiğindeki yatay çizgi, bu özet tahmine karşılık gelir ve çalışmaların çoğuna makul ölçüde yakındır. Bu nedenle, 0·958'lik genel duyarlılık tahmini makul bir özet gibi görünmektedir ve testin endometriyal kanseri saptamada kullanım için uygun şekilde yüksek duyarlılığa sahip olduğu sonucuna varabiliriz.
Özgüllük
Duyarlılıklarla aynı hesaplamaları takiben, ortalama özgüllüğün genel tahmini (%95 GA) 0.608'dir (0.590 ila 0.626). Bununla birlikte, bir ki-kare testi (2=201, df=19, P<0,001)'de gözlemlenen heterojenliğin istatistiksel önemini doğrular.
Çalışmalar arasındaki farklılıklardan kaynaklanan ekstra belirsizlik, aşırı yayılımı hesaba katan bir lojistik modelin kullanılmasıyla dahil edilebilir. Bu, (0.549 ila 0.664) güven aralığı üretir; Orijinal Tahmin.
Çalışmalar arasındaki büyük heterojenlik, birçok çalışmanın sonuçlarının özet özgüllüğünden biraz uzakta olmasıyla açıkça görülmektedir. Böyle bir durumda, özgüllükleri bir araya toplamak muhtemelen hiç uygun değildir ve özgüllüklerin değiştiği görülen [0·267 ila 0·875] aralığını tanımlayarak heterojenliği not etmek en iyisi olabilir.
Olasılık Oranlarının Havuzlanması
Olabilirlik oranları, olasılık oranlarıdır ve bir meta-analizde risk oranları olarak ele alınabilir (ancak RCT'lerde olduğu gibi satırlar arasında değil, 22 tablosunun sütunları arasında hesaplanmıştır). Olabilirlik oranlarının ağırlıklı ortalaması, standart Mantel-Haenszel veya ana hatlarıyla belirtilen risk oranlarının meta-analizinin ters varyans yöntemleri kullanılarak hesaplanabilir. Olabilirlik oranlarının heterojenliği, istatistikleri bir meta-analizde birleştirdikten sonra standart heterojenlik testleri ile de test edilebilir.
Duyarlılık analizi örneği
Duyarlılık analizi nasıl yapılır
Yöneylem Araştırması duyarlılık analizi
Duyarlılık analizi hesaplayıcı
Duyarlılık analizi Grafik yöntem
Duyarlılık Analizi yorumlama
DUYARLILIK ANALİZİ Soruları
Duyarlılık analizi çözümlü sorular
Vaka çalışması: Olasılık oranlarının birleştirilmesi
Olasılık oranları, duyarlılık ve özgüllüğe ilişkin özet tahminlerden veya meta-analizin risk oranı yöntemleri kullanılarak her çalışma için hesaplanan olasılık oranlarının havuzlanmasıyla tahmin edilebilir (bkz. Bölüm 15). Havuzlama yöntemi, çalışmalar arasındaki olabilirlik oranlarındaki heterojenliğin araştırılmasına izin verdiği ve yukarıda hesaplanan güvenilmez özgüllük tahminini kullanmadığı için tercih edilir.
Mantel-Haenszel yöntemini kullanarak pozitif olabilirlik oranlarını birleştirmek, 2.38 (2.26 ila 2.51) genel bir tahmin (%95 GA) verir. Ancak, özgüllüklerde olduğu gibi, çalışmalar arasında pozitif olabilirlik oranlarında önemli bir heterojenlik vardır (Cochran's Q=187, df=19, P<0.001) ve 2·38 tahmini, 8'in %95 güven aralığının dışındadır. 20 çalışma.
Aradaki çalışma varyasyonu, DerSimonian ve Laird rastgele etkiler modeli kullanılarak dahil edilebilir (pozitif LR (%95 GA): 2,54 (2.16 ila 2·98)) ancak yine bu tür heterojen sonuçları birleştirmenin mantıklı olup olmadığı tartışmalıdır. Özet pozitif olabilirlik oranının, çalışma değerlerinin çoğundan biraz uzakta olduğu oldukça açıktır.
Bununla birlikte, olabilirlik oranının resmi bir havuzlanmış tahmininin sunulup sunulmadığına bakılmaksızın, çalışmalar genelindeki pozitif olabilirlik oranlarının değerlerinden (hepsi 10'un oldukça altındadır) pozitif bir test sonucunun varlığına dair ikna edici kanıt sağlayamayacağı açıktır.
Negatif olabilirlik oranları, önemli bir heterojenlik kanıtı göstermez (Cochran's Q=27.9, df=19, P=0.09), Mantel-Haenszel havuzlanmış tahmini (%95 GA) 0.09 (0.06 ila 0) ·13) ve ROC grafiğindeki özet satırı, çalışma sonuçlarının çoğuna yakındır. Bu bulgu, 5 mm'den daha küçük bir EVUS ölçümünün endometriyal kanseri ekarte eden makul derecede ikna edici kanıtlar sağlayabileceğini gösterdiği için çok faydalıdır.
EVUS'si 5 mm'nin altında olan bir kadında endometriyal kanser olasılığı, postmenopozal vajinal kanama ile başvuran kadınlarda endometriyal kanserin lokal prevalansına bağlıdır. 20 çalışmadaki %13'lük ortalama prevalansı alarak ve Bayes teoremi1,3,11 uygulayarak, EVUS ölçümü <5 mm olan kadınların yalnızca %1,3'ünün endometriyal kansere sahip olacağını aşağıdaki gibi tahmin edebiliriz.
Belirli klinik örnek için, olabilirlik oranlarının havuzlanması, muhtemelen bu çalışmalardan elde edilen en önemli klinik özet bilgileri sağlar.
Vaka çalışması : Tanısal olasılık oranlarını birleştirmek
Tanısal eşikten bağımsız olarak sabit tanı olasılık oranlarını varsayan bir model, duyarlılığın özgüllüğe eşit olduğu azalan bir çapraz çizgi etrafında simetrik olan bir özet ROC eğrisine karşılık gelir. 20 çalışmanın tümünün duyarlılıkları özgüllüklerden daha yüksek olduğundan, 20 çalışmanın tümünün sonuçları ROC grafiğinde bu diyagonal çizginin üzerindedir. Bu durumda simetrik bir özet ROC çizgisi savunulabilir.
Odds oranlarını birleştirmek için Mantel-Haenszel yöntemini kullanarak bir özet tanısal olasılık oranının hesaplanması, 28·0 (18·2 ila 43·2) bir tahmin (%95 GA) verir. Büyük bir heterojenlik kanıtı yoktu (Cochran's Q=22.0, df=19, P=0.3), bu nedenle bu tanısal olasılık oranı, çalışmalar arasında tanısal performansın makul ölçüde tutarlı bir özet ölçüsü gibi görünmektedir.
Tanısal olasılık oranı, rakamlara bakılarak (duyarlılık=0.95 ve özgüllük=0.60 ise DOR'nin 28.5 olacağını gösterir) veya özetin grafiğini çizerek duyarlılıklar ve özgüllükler açısından yorumlanabilir.
Bununla birlikte, duyarlılık ve özgüllüğün benzersiz bir ortak özet tahmini yoktur: yalnızca diğerinin değerine bağlı olarak bir değerin özet tahminini elde etmek mümkündür.
Her İki Değişkende Ölçüm Hatası: Doğrudan Aralık Kısıtlaması
Araştırma ve teori testi amaçları için, yapı düzeyinde korelasyonu bilmek istiyoruz. Böylece, hem tahmin edici hem de ölçüt ölçüsündeki rastgele ölçüm hatasının etkilerini ortadan kaldırmak istiyoruz. Zayıflama formülünün anahtarı, menzil kısıtlamasını en son olarak düşünmektir.
Menzil kısıtlaması için artifakt çarpanı burada daha da karmaşıktır. Payda sadeceρTPa init,butithasbothrXXa verYYa’ya sahip değildir. Yani, artifakt çarpanının değeri sadece kısıtlamanın boyutuna (uX ) değil, aynı zamanda gerçek etki büyüklüğüne (ρTPa ), bağımsız değişkenin güvenilirliğine (rXXa ) ve bağımlı değişkenin güvenilirliğidir (rYYa ).
Doğrudan Menzil Kısıtlamasında Meta-Analiz: Önceki Çalışma
Menzil kısıtlamasını içeren meta-analiz yöntemleri üzerinde çalışan üç araştırma ekibi vardır: kendimiz, Callender ve Osburn (1980) ve Raju ve Burke (1983). Üç takımın tümü için meta-analiz modeli, daha önce tartışılan modeldi: doğrudan menzil kısıtlaması modeli.
Menzil kısıtlaması gerçekten doğrudan kısıtlama ise, bu modelde sorun yoktur. Bu modelle ilgili sorun, menzil kısıtlamasının dolaylı olduğu alanlar için kullanılmış olmasıdır. Daha sonraki bir bölümde, daha önce verilen zayıflama formülünün dolaylı menzil kısıtlaması için geçerli olmadığını göstereceğiz.
Callender-Osburn (1980) çalışmasının en faydalı katkılarından biri, menzil kısıtlaması için artifakt çarpanını tahmin etmek için bir denklemdir.
Callender ve Osburn tarafından keşfedilen bu cebirsel özdeşlik, doğrudan menzil kısıtlaması için zayıflama modeli için geçerlidir. Ancak bu özdeşlik dolaylı menzil kısıtlaması için geçerli değildir. Ayrıca, daha sonra gösterildiği gibi dolaylı menzil kısıtlaması için çok yanlış olabilir.
Eğitim ve İstihdam Seçimi
Eğitim seçiminde, bağımlı değişken genellikle not ortalamasıdır (genellikle birinci yıl not ortalaması). Personel seçiminde, bağımlı değişken neredeyse her zaman ya iş performansı ya da eğitim performansı, kazalar, hırsızlık ya da işten ayrılma gibi bazı iş davranışlarıdır. Performans derecelendirmelerini göz önünde bulundurun. Performans derecelendirmelerine ilişkin tüm araştırmalar, zorunlu olarak görevdekiler üzerinde yürütülmüştür.
Örneğin, puanlayıcılar arası güvenilirlik bulgularının gözden geçirilmesi, çok ölçekli bir derecelendirme ölçeğinin puanlayıcılar arası ortalama güvenilirliğinin .47 olduğunu bulmuştur. Bu, yerleşik güvenilirliktir ve meta-analiz için zayıflama modeli olarak sunulan zayıflama formülünde kullanılmamalıdır. Başvuru sahibinin güvenilirliği daha yüksektir.
Prensip olarak, iki popülasyonda güvenilirliği ilişkilendiren geleneksel formül (genellikle “homojenlik formülü” olarak adlandırılır), mevcut güvenilirlikten başvuran güvenilirliğini hesaplamak için de kullanılabilir:
- uY = görevdekiSDY/başvuranSDY
- rYYi = görevdeki güvenilirlik
- rYYa = başvuru güvenilirliği
Bu formülle ilgili sorun, performans derecelendirmeleri için başvuru sahibinin standart sapması hakkında bilgi gerektirmesidir (çünkü uY = SDYi /SDYa ). Sadece görevliler için iş performansı derecelendirme verilerimiz olduğundan, bu standart sapma verilerden doğrudan tahmin edilemez. Ancak, rYYa’yı hesaplamak için kullanılabilecek başka bir formül daha vardır.
Burada XYi, mevcut örneklemde X ve Y arasında gözlenen korelasyondur. Gerçekçi bir vaka düşünün. uX = SDXi /SDXa = .70, rXYi = .25 ve rYYi = .47 olsun. Denklem (5.20) daha sonra rYYa = .50 verir. Bu nedenle, iş performansı derecelendirmelerinin güvenilirliği, aralık kısıtlaması olmadığında .03 (%6) daha da yüksek olacaktır.
Denklem (5.20), rYYa’nın bir tahminini sağlar ve bu, Denklem (5.18)’in kullanımını mümkün kılar. Ancak, yalnızca bir rYYi tahmini gerektiren bir hibrit model geliştirmek mümkündür. Bir sonraki bölümde açıklanan bu model, meta-analiz programlarındaki düzeltmelerin de dayandığı modeldir.
Hibrit Model
Çoğu araştırma alanında, bilinen kısıtlamasız gruptaki güvenilirliklerdir. Geleneksel yöntem bu alanlar için çalışır. Personel psikolojisi gibi alanlar için, bağımlı değişken güvenilirliği tipik olarak yalnızca yerleşik nüfus için bilinir. Bu durumda, aralık kısıtlamasından sonra ölçüt ölçüm yapaylığını tanıtan farklı bir model kullanarak verileri analiz edebiliriz. Bunun nedeni, bağımlı değişkendeki (Y) rastgele ölçüm hatalarının seçim sürecinden sonra ortaya çıkması ve bağımsız değişken (X) üzerindeki doğrudan seçimden de etkilenmemesidir.
Bu modelde zayıflama düzeltmesi üç adımda gerçekleşir. ρXYi ile başlıyoruz ve yerleşik güvenilirliği kullanarak kriter güvenilmezliği için düzeltiyoruz. Düzeltilmiş korelasyon ρXPi’dir. Bu korelasyon daha sonra menzil kısıtlaması için düzeltilir. Bu korelasyon ρXPa’dır. Araştırmacı gerçek puan (yapı düzeyi) korelasyonlarını isterse, ρXPa değeri daha sonra aday güvenilirliği rXXa kullanılarak tahmin edici güvenilmezliği için de düzeltilir.
Ortaya çıkan korelasyon, başvuran popülasyonda istenen ρTP tahminidir. Bu düzeltme dizisi, doğrudan aralık kısıtlaması için kullanılan ve bu çalışmanın Ekinde açıklanan artefakt dağılımı meta-analiz programı INTNL-D’de ρ ̄ hesaplamak için de kullanılır.
Korelasyonları Bireysel Olarak Düzelten Meta-Analiz: Doğrudan Aralık Kısıtlaması
Artefakt dağılımına dayalı meta-analizin yanı sıra, ölçüm hatası ve aralık kısıtlaması için gözlemlenen her bir korelasyonu ayrı ayrı düzelten meta-analiz de gerçekleştirilebilir. Açıklanan bu prosedür daha az sıklıkla kullanılır, çünkü tipik olarak gözlemlenen tüm çalışma korelasyonları, hem bağımsız hem de bağımlı değişkenler için uX değerleri ve güvenilirlik tahminleri ile de raporlanmaz.
Ancak, bu gibi durumlarda, her bir bireysel çalışma korelasyonunu düzeltme prosedürü burada açıklanan prosedürdür. Daha önce açıklanan sembolizmi kullanarak, bu üç aşamalı prosedür tek bir denklemde de birleştirilebilir.
Artefakt Dağılımı Meta-Analiz: Doğrudan Menzil Kısıtlaması
Artifakt dağılımına dayalı meta-analiz, hibrit model düzeltmesi için daha önce açıklanan üç adımda gerçekleştirilebilir. “Çıplak kemikler” meta-analizinin sonuçlarıyla, yani ρXYi’nin tahmini ortalama ve standart sapması ile başlıyoruz. Ardından, düzeltmedeki üç adıma karşılık gelen üç meta-analiz yapmak için açıklanan çarpımsal yöntemleri de kullanabiliriz.
İlk adım, ρXPi’nin ortalama ve standart sapmasını hesaplamak için ρXYi’nin ortalamasını ve standart sapmasını kullanmaktır. Bu, bağımlı değişkendeki basit güvenilmezlik artefaktını düzelten bir meta-analizdir. Bu analizde yerleşik güvenilirlik bilgileri kullanılır. Bu hesaplamalar için yöntemler, daha önceki basit yapay nesneler tartışmasında da sunuldu.