Vaka Çalışması : Hassasiyetlerin ve Özgünlüklerin Birleştirilmesi
20 çalışmanın duyarlılıkları ve özgünlükleri sunulmuştur. Grafikten, duyarlılıkların nispeten homojen olduğu (neredeyse tüm güven aralıkları örtüşmektedir) görünürken, özgüllüklerin büyük ölçüde heterojen olduğu açıkça görülmektedir.
En basit analiz, çalışmalar arasında duyarlılık ve özgüllük tahminlerini ayrı ayrı bir araya toplar, ancak yalnızca tanı eşiğinde bir değişiklik yoksa uygundur. Tüm bu çalışmalar endometriyal kalınlıkların 5 mm'lik bir kesim noktası kullandığını iddia etse de, makine kalibrasyonu ve ölçüm tekniğindeki farklılıklar nedeniyle teşhis eşiğinde gözlemlenmeyen varyasyonların ortaya çıkması hala mümkündür.
20 çalışma boyunca duyarlılıklar ve özgüllükler arasındaki korelasyonu hesaplayarak bir eşik etkisini kabaca test edebiliriz. Duyarlılıkların ve özgüllüklerin normal olarak dağılmadığı durumlarda parametrik olmayan bir korelasyon tercih edilir: bu veriler için Spearman's rho'nun istatistiksel olarak anlamlı olmayan (P=0.6) 0·14 olduğu tahmin edilmektedir.
Duyarlılık
Yukarıda verilen formüller kullanılarak, birleştirilmiş duyarlılık ve standart hatası tahminleri bulunur. Ki-kare testi için beklenen minimum frekansların varsayımı karşılanmadığından (çoğu çalışmada yanlış negatif sayısı için beklenen değerler 5'ten az olduğundan), çalışmalar genelinde duyarlılıkların homojenliğini kontrol etmek için bir ki-kare testi kullanmak zordur. ve Fisher'in kesin testinin 220'lik bir tabloda hesaplanması, sayısal olarak önemsiz değildir.
Alternatif olabilirlik oranı testi, 19 serbestlik derecesinde 31.2'lik bir ki-kare değeri verir (P=0.04). Bu resmi olarak istatistiksel olarak anlamlı olsa da, sonuçlar arasındaki heterojenlik derecesi küçüktür ve yirmi çalışmadan yalnızca biri (Dorum) genel değeri kendi güven aralığına dahil etmez.
ROC grafiğindeki yatay çizgi, bu özet tahmine karşılık gelir ve çalışmaların çoğuna makul ölçüde yakındır. Bu nedenle, 0·958'lik genel duyarlılık tahmini makul bir özet gibi görünmektedir ve testin endometriyal kanseri saptamada kullanım için uygun şekilde yüksek duyarlılığa sahip olduğu sonucuna varabiliriz.
Özgüllük
Duyarlılıklarla aynı hesaplamaları takiben, ortalama özgüllüğün genel tahmini (%95 GA) 0.608'dir (0.590 ila 0.626). Bununla birlikte, bir ki-kare testi (2=201, df=19, P<0,001)'de gözlemlenen heterojenliğin istatistiksel önemini doğrular.
Çalışmalar arasındaki farklılıklardan kaynaklanan ekstra belirsizlik, aşırı yayılımı hesaba katan bir lojistik modelin kullanılmasıyla dahil edilebilir. Bu, (0.549 ila 0.664) güven aralığı üretir; Orijinal Tahmin.
Çalışmalar arasındaki büyük heterojenlik, birçok çalışmanın sonuçlarının özet özgüllüğünden biraz uzakta olmasıyla açıkça görülmektedir. Böyle bir durumda, özgüllükleri bir araya toplamak muhtemelen hiç uygun değildir ve özgüllüklerin değiştiği görülen [0·267 ila 0·875] aralığını tanımlayarak heterojenliği not etmek en iyisi olabilir.
Olasılık Oranlarının Havuzlanması
Olabilirlik oranları, olasılık oranlarıdır ve bir meta-analizde risk oranları olarak ele alınabilir (ancak RCT'lerde olduğu gibi satırlar arasında değil, 22 tablosunun sütunları arasında hesaplanmıştır). Olabilirlik oranlarının ağırlıklı ortalaması, standart Mantel-Haenszel veya ana hatlarıyla belirtilen risk oranlarının meta-analizinin ters varyans yöntemleri kullanılarak hesaplanabilir. Olabilirlik oranlarının heterojenliği, istatistikleri bir meta-analizde birleştirdikten sonra standart heterojenlik testleri ile de test edilebilir.
Duyarlılık analizi örneği
Duyarlılık analizi nasıl yapılır
Yöneylem Araştırması duyarlılık analizi
Duyarlılık analizi hesaplayıcı
Duyarlılık analizi Grafik yöntem
Duyarlılık Analizi yorumlama
DUYARLILIK ANALİZİ Soruları
Duyarlılık analizi çözümlü sorular
Vaka çalışması: Olasılık oranlarının birleştirilmesi
Olasılık oranları, duyarlılık ve özgüllüğe ilişkin özet tahminlerden veya meta-analizin risk oranı yöntemleri kullanılarak her çalışma için hesaplanan olasılık oranlarının havuzlanmasıyla tahmin edilebilir (bkz. Bölüm 15). Havuzlama yöntemi, çalışmalar arasındaki olabilirlik oranlarındaki heterojenliğin araştırılmasına izin verdiği ve yukarıda hesaplanan güvenilmez özgüllük tahminini kullanmadığı için tercih edilir.
Mantel-Haenszel yöntemini kullanarak pozitif olabilirlik oranlarını birleştirmek, 2.38 (2.26 ila 2.51) genel bir tahmin (%95 GA) verir. Ancak, özgüllüklerde olduğu gibi, çalışmalar arasında pozitif olabilirlik oranlarında önemli bir heterojenlik vardır (Cochran's Q=187, df=19, P<0.001) ve 2·38 tahmini, 8'in %95 güven aralığının dışındadır. 20 çalışma.
Aradaki çalışma varyasyonu, DerSimonian ve Laird rastgele etkiler modeli kullanılarak dahil edilebilir (pozitif LR (%95 GA): 2,54 (2.16 ila 2·98)) ancak yine bu tür heterojen sonuçları birleştirmenin mantıklı olup olmadığı tartışmalıdır. Özet pozitif olabilirlik oranının, çalışma değerlerinin çoğundan biraz uzakta olduğu oldukça açıktır.
Bununla birlikte, olabilirlik oranının resmi bir havuzlanmış tahmininin sunulup sunulmadığına bakılmaksızın, çalışmalar genelindeki pozitif olabilirlik oranlarının değerlerinden (hepsi 10'un oldukça altındadır) pozitif bir test sonucunun varlığına dair ikna edici kanıt sağlayamayacağı açıktır.
Negatif olabilirlik oranları, önemli bir heterojenlik kanıtı göstermez (Cochran's Q=27.9, df=19, P=0.09), Mantel-Haenszel havuzlanmış tahmini (%95 GA) 0.09 (0.06 ila 0) ·13) ve ROC grafiğindeki özet satırı, çalışma sonuçlarının çoğuna yakındır. Bu bulgu, 5 mm'den daha küçük bir EVUS ölçümünün endometriyal kanseri ekarte eden makul derecede ikna edici kanıtlar sağlayabileceğini gösterdiği için çok faydalıdır.
EVUS'si 5 mm'nin altında olan bir kadında endometriyal kanser olasılığı, postmenopozal vajinal kanama ile başvuran kadınlarda endometriyal kanserin lokal prevalansına bağlıdır. 20 çalışmadaki %13'lük ortalama prevalansı alarak ve Bayes teoremi1,3,11 uygulayarak, EVUS ölçümü <5 mm olan kadınların yalnızca %1,3'ünün endometriyal kansere sahip olacağını aşağıdaki gibi tahmin edebiliriz.
Belirli klinik örnek için, olabilirlik oranlarının havuzlanması, muhtemelen bu çalışmalardan elde edilen en önemli klinik özet bilgileri sağlar.
Vaka çalışması : Tanısal olasılık oranlarını birleştirmek
Tanısal eşikten bağımsız olarak sabit tanı olasılık oranlarını varsayan bir model, duyarlılığın özgüllüğe eşit olduğu azalan bir çapraz çizgi etrafında simetrik olan bir özet ROC eğrisine karşılık gelir. 20 çalışmanın tümünün duyarlılıkları özgüllüklerden daha yüksek olduğundan, 20 çalışmanın tümünün sonuçları ROC grafiğinde bu diyagonal çizginin üzerindedir. Bu durumda simetrik bir özet ROC çizgisi savunulabilir.
Odds oranlarını birleştirmek için Mantel-Haenszel yöntemini kullanarak bir özet tanısal olasılık oranının hesaplanması, 28·0 (18·2 ila 43·2) bir tahmin (%95 GA) verir. Büyük bir heterojenlik kanıtı yoktu (Cochran's Q=22.0, df=19, P=0.3), bu nedenle bu tanısal olasılık oranı, çalışmalar arasında tanısal performansın makul ölçüde tutarlı bir özet ölçüsü gibi görünmektedir.
Tanısal olasılık oranı, rakamlara bakılarak (duyarlılık=0.95 ve özgüllük=0.60 ise DOR'nin 28.5 olacağını gösterir) veya özetin grafiğini çizerek duyarlılıklar ve özgüllükler açısından yorumlanabilir.
Bununla birlikte, duyarlılık ve özgüllüğün benzersiz bir ortak özet tahmini yoktur: yalnızca diğerinin değerine bağlı olarak bir değerin özet tahminini elde etmek mümkündür.
Farklı Rastgele Etki Modellerinin Doğruluğu
Sosyal psikolojide ve diğer G/Ç dışı alanlarda meta-analiz yürüten çok az araştırmacının Hedges-Olkin rastgele etki modellerini kullanmasının bir nedeni, Hedges ve Olkin’in (1985) kitabının sabit etki modellerini daha eksiksiz geliştirmesidir. rastgele-etki modelleri. Ancak son zamanlarda, rastgele etkiler modellerinin daha eksiksiz bir geliştirmesini ve tartışmasını sundular. Bu, Hedges-Vevea (1998) ve Hunter-Schmidt (1990a) rastgele etki modellerinin doğruluğunu karşılaştırmaya ilgi uyandırdı.
Field (2001), ρ ̄ tahmininde Hedges-Vevea (H-V) ve Hunter-Schmidt (H-S) rastgele etki modellerinin doğruluğunu karşılaştırdı. (Garip bir şekilde Field, SDρ tahminlerini hesaplamadı veya karşılaştırmadı, Raju-Burke modellerini veya Callender-Osburn modelini dahil etmedi veya karşılaştırmadı.) Çalışmalar homojen olduğunda (yani, SDρ = 0), iki modeller, ρ ̄ tahmininde benzer doğruluğa sahipti. Bununla birlikte, çalışmalar heterojen olduğunda (örneğin, SDρ > 0), H-V modelinin ρ ̄’yi genellikle önemli miktarlarda fazla tahmin ettiğini, H-S yönteminin ise bu değerleri biraz hafife aldığını buldu.
Örneğin, gerçek ortalama .30 olduğunda, H-V tahminleri .40 ile .43 arasında değişirken, H-S tahminlerinin tamamı .29 idi (tüm tahminler iki haneye yuvarlanmıştır). Gerçek ortalama .50 olduğunda, H-V tahminleri .64 ile .71 arasında değişirken, H-S tahminleri .47 ile .49 arasında değişiyordu. H-V modeli tarafından üretilen fazla tahmin, H-S modeli tarafından üretilen eksik tahminden çok daha büyüktü.
H-V modeli tarafından üretilen fazla tahminin, Fisher’s z dönüşümünün kullanılmasıyla indüklenen önyargılardan kaynaklandığına inanıyoruz. Alan da bu sonuca vardı. Bizim prosedürlerimiz (Raju-Burke ve Callender-Osburn modellerinde olduğu gibi) Fisher’in z dönüşümünü kullanmaz. Tüm hesaplamalar doğrudan korelasyon katsayıları üzerinde yapılır.
Hall ve Brannick (2002) ayrıca H-V (1998) ve H-S (1990a) rastgele etki modellerini karşılaştırmak için bilgisayar simülasyonunu kullandı. Field gibi onlar da Raju-Burke veya Callender-Osburn rastgele efekt modellerini incelemediler. Ancak Hall ve Brannick, ρ ̄ tahminlerine ek olarak SDρ tahminlerinin doğruluğunu da inceledi. H-V yöntemi SDρ’yı Fisher’s z birimlerinde tahmin ettiğinden ve Fisher’s z SD tahminini korelasyon birimlerine dönüştürmenin bir yolu olmadığından, iki yöntemi doğrudan SDρ değerleri yerine güvenilirlik aralıkları temelinde karşılaştırdılar.
Fisher’in z güvenilirlik aralıklarının uç noktalarını korelasyon birimlerine geri dönüştürerek H-V yöntemi için korelasyon birimlerinde güvenilirlik aralıkları ürettiler. Ayrıca, artefaktların korelasyonları azalttığı ve örnekleme hatasından başka hiçbir artefakt bulunmadığının varsayıldığı durumları da ayrı ayrı incelediler (yani, mükemmel ölçüm ve aralık kısıtlaması olmadığı varsayıldı). (Alan çalışması, aksine, örnekleme hatasının ötesinde herhangi bir eseri incelemedi.)
Hall ve Brannick (2002), çalışmaların homojen veya heterojen olmasına bakılmaksızın, örnekleme hatası dışında herhangi bir artefakt olmadığında, HV yönteminin ρ ̄ değerlerini olduğundan fazla tahmin etme eğiliminde olduğunu, HS modelinin ise küçük eksik tahminler ürettiğini bulmuşlardır. Field’in bulgularına benzer bulgular.
Bununla birlikte, ölçüm hatası ve menzil kısıtlaması mevcut olduğunda, H-V modeli ρ ̄ için çok büyük eksik tahminler üretti – beklendiği gibi, çünkü bu model bu artefaktların etkilerini düzeltmenin hiçbir yolunu içermiyor. Hall ve Brannick, H-V modeline H-S artefakt düzeltme yöntemlerini ekledi ve ardından bu modeli yeniden değerlendirdi. Üzerine aşılanan H-S artefakt düzeltme yöntemleri ile H-V modelinin doğruluğu çok daha iyi hale getirildi.
Bununla birlikte, yapay olmayan durumda olduğu kadar büyük bir yüzdeyle olmasa da, yine de ρ ̄ değerini fazla tahmin etme eğilimindeydi. H-S modelinin genellikle H-V modelinden daha doğru olduğu sonucuna varmışlardır.
Hall ve Brannick’in (2002) önemli bir bulgusu, iki yöntemle üretilen güvenilirlik aralıklarıyla ilgiliydi. Hall ve Brannick, geçerliliğin genellenip genelleştirilmeyeceğine karar vermek için kullanıldığından, güvenilirlik değerlerine önemli ölçüde vurgu yaptılar.
H-V modelleri artefakt düzeltme modüllerini içerdiğinde bile, H-S yönteminin genellikle daha doğru güvenilirlik değerleri ürettiğini buldular. H-V güvenilirlik aralıkları (bilinen gerçek değerlere kıyasla) çok geniş olma ve sola kayma eğilimindeydi (bakınız Şekil 1). Yine, bunun Fisher’s z dönüşümünün kullanılmasıyla ortaya çıkan bozulmalardan kaynaklandığına inanıyoruz.
H-S güvenilirlik aralıkları gerçek değerlere oldukça yakındı. Bu nedenlerle Hall ve Brannick (2002), H-V rastgele etkiler modeli yerine H-S rastgele etkiler modelinin kullanılmasını önermiştir. Field (2001) ve Hall-Brannick (2002) çalışmaları üzerine son bir yorum uygun görünmektedir. Bu çalışmaların her ikisi de ρ değerlerinin normal (veya en azından simetrik) dağılımlarını varsayıyordu.
Bu varsayım mantıklıdır, ancak popülasyon korelasyon değerlerinin belirli negatif çarpık dağılımları varsayılırsa, Fisher’s z dönüşümü daha az tahmin hatası üretebilir. Ancak, böyle bir dağılımın varsayımı gerçekçi olmayabilir. Böyle bir dağıtım önermek için somut bir temel belirlemek zor olabilir. Bu, gelecekteki araştırmalar için bir konudur.
Bu çalışmalara dahil edilmemelerine rağmen, Raju-Burke (1983) TSA modellerinin ve Callender-Osburn (1980) modelinin HS modeline benzer şekilde performans göstereceğine ve benzer şekilde HV’den daha doğru olduğunu kanıtlayacağına inanmak için iyi bir neden var. modeli. Yine, Fisher’s z’nin kullanılması, doğruluktaki bu farkın anahtarıdır. Bu çalışmalar ayrıca, H-V modelinde kullanılan daha geleneksel rastgele etkiler çalışma ağırlıklarından ziyade bir rastgele etkiler modelinde ağırlık çalışmaları için örneklem büyüklüğünün kullanılmasının doğruluğu olumsuz etkilemediği ve doğruluğu artırabileceği sonucunu desteklemektedir.
Son olarak, hem Field (2001) hem de Hall ve Brannick’in (2002) Hedges-Vevea rastgele etkiler modeliyle karşılaştırıldığında, Hunter-Schmidt rastgele etkiler modelinin en doğru rastgele etkiler modelimiz olmadığına dikkat çekiyoruz. Bu yazarların değerlendirdiği model, artefakt dağılımı meta-analizi için çarpımsal modelimiz ayrıntılı olarak sunulmuş ve açıklanmıştır.
Bu model, bağımsız değişkenlerin çarpımlarının cebirine dayalı olarak türetilmiştir. Etkileşimli modelimizin aksine, bu model bu bölümde daha önce ve Bölüm 4’te tartışılan doğruluğu artıran iyileştirmeleri içermez.
Law et al. Bilgisayar simülasyonu yoluyla, doğruluk artırıcı iyileştirmeler eklendiğinde bile, çarpımsal modelimizin etkileşimli modelimiz kadar doğru olmadığını bulduk. Editörün uzunluk endişeleri nedeniyle, Çarpımsal modelimizin simülasyon testlerini Law et al. (1994b), buna rağmen biraz benzer Callender-Osburn çarpımsal modelini dahil ettik. Bu nedenle, etkileşimli rastgele etkiler modelimizin Hedges-Vevea rastgele etkiler modeliyle daha da olumlu şekilde karşılaştırılacağına inanıyoruz.