Vaka Çalışması : Hassasiyetlerin ve Özgünlüklerin Birleştirilmesi
20 çalışmanın duyarlılıkları ve özgünlükleri sunulmuştur. Grafikten, duyarlılıkların nispeten homojen olduğu (neredeyse tüm güven aralıkları örtüşmektedir) görünürken, özgüllüklerin büyük ölçüde heterojen olduğu açıkça görülmektedir.
En basit analiz, çalışmalar arasında duyarlılık ve özgüllük tahminlerini ayrı ayrı bir araya toplar, ancak yalnızca tanı eşiğinde bir değişiklik yoksa uygundur. Tüm bu çalışmalar endometriyal kalınlıkların 5 mm'lik bir kesim noktası kullandığını iddia etse de, makine kalibrasyonu ve ölçüm tekniğindeki farklılıklar nedeniyle teşhis eşiğinde gözlemlenmeyen varyasyonların ortaya çıkması hala mümkündür.
20 çalışma boyunca duyarlılıklar ve özgüllükler arasındaki korelasyonu hesaplayarak bir eşik etkisini kabaca test edebiliriz. Duyarlılıkların ve özgüllüklerin normal olarak dağılmadığı durumlarda parametrik olmayan bir korelasyon tercih edilir: bu veriler için Spearman's rho'nun istatistiksel olarak anlamlı olmayan (P=0.6) 0·14 olduğu tahmin edilmektedir.
Duyarlılık
Yukarıda verilen formüller kullanılarak, birleştirilmiş duyarlılık ve standart hatası tahminleri bulunur. Ki-kare testi için beklenen minimum frekansların varsayımı karşılanmadığından (çoğu çalışmada yanlış negatif sayısı için beklenen değerler 5'ten az olduğundan), çalışmalar genelinde duyarlılıkların homojenliğini kontrol etmek için bir ki-kare testi kullanmak zordur. ve Fisher'in kesin testinin 220'lik bir tabloda hesaplanması, sayısal olarak önemsiz değildir.
Alternatif olabilirlik oranı testi, 19 serbestlik derecesinde 31.2'lik bir ki-kare değeri verir (P=0.04). Bu resmi olarak istatistiksel olarak anlamlı olsa da, sonuçlar arasındaki heterojenlik derecesi küçüktür ve yirmi çalışmadan yalnızca biri (Dorum) genel değeri kendi güven aralığına dahil etmez.
ROC grafiğindeki yatay çizgi, bu özet tahmine karşılık gelir ve çalışmaların çoğuna makul ölçüde yakındır. Bu nedenle, 0·958'lik genel duyarlılık tahmini makul bir özet gibi görünmektedir ve testin endometriyal kanseri saptamada kullanım için uygun şekilde yüksek duyarlılığa sahip olduğu sonucuna varabiliriz.
Özgüllük
Duyarlılıklarla aynı hesaplamaları takiben, ortalama özgüllüğün genel tahmini (%95 GA) 0.608'dir (0.590 ila 0.626). Bununla birlikte, bir ki-kare testi (2=201, df=19, P<0,001)'de gözlemlenen heterojenliğin istatistiksel önemini doğrular.
Çalışmalar arasındaki farklılıklardan kaynaklanan ekstra belirsizlik, aşırı yayılımı hesaba katan bir lojistik modelin kullanılmasıyla dahil edilebilir. Bu, (0.549 ila 0.664) güven aralığı üretir; Orijinal Tahmin.
Çalışmalar arasındaki büyük heterojenlik, birçok çalışmanın sonuçlarının özet özgüllüğünden biraz uzakta olmasıyla açıkça görülmektedir. Böyle bir durumda, özgüllükleri bir araya toplamak muhtemelen hiç uygun değildir ve özgüllüklerin değiştiği görülen [0·267 ila 0·875] aralığını tanımlayarak heterojenliği not etmek en iyisi olabilir.
Olasılık Oranlarının Havuzlanması
Olabilirlik oranları, olasılık oranlarıdır ve bir meta-analizde risk oranları olarak ele alınabilir (ancak RCT'lerde olduğu gibi satırlar arasında değil, 22 tablosunun sütunları arasında hesaplanmıştır). Olabilirlik oranlarının ağırlıklı ortalaması, standart Mantel-Haenszel veya ana hatlarıyla belirtilen risk oranlarının meta-analizinin ters varyans yöntemleri kullanılarak hesaplanabilir. Olabilirlik oranlarının heterojenliği, istatistikleri bir meta-analizde birleştirdikten sonra standart heterojenlik testleri ile de test edilebilir.
Duyarlılık analizi örneği
Duyarlılık analizi nasıl yapılır
Yöneylem Araştırması duyarlılık analizi
Duyarlılık analizi hesaplayıcı
Duyarlılık analizi Grafik yöntem
Duyarlılık Analizi yorumlama
DUYARLILIK ANALİZİ Soruları
Duyarlılık analizi çözümlü sorular
Vaka çalışması: Olasılık oranlarının birleştirilmesi
Olasılık oranları, duyarlılık ve özgüllüğe ilişkin özet tahminlerden veya meta-analizin risk oranı yöntemleri kullanılarak her çalışma için hesaplanan olasılık oranlarının havuzlanmasıyla tahmin edilebilir (bkz. Bölüm 15). Havuzlama yöntemi, çalışmalar arasındaki olabilirlik oranlarındaki heterojenliğin araştırılmasına izin verdiği ve yukarıda hesaplanan güvenilmez özgüllük tahminini kullanmadığı için tercih edilir.
Mantel-Haenszel yöntemini kullanarak pozitif olabilirlik oranlarını birleştirmek, 2.38 (2.26 ila 2.51) genel bir tahmin (%95 GA) verir. Ancak, özgüllüklerde olduğu gibi, çalışmalar arasında pozitif olabilirlik oranlarında önemli bir heterojenlik vardır (Cochran's Q=187, df=19, P<0.001) ve 2·38 tahmini, 8'in %95 güven aralığının dışındadır. 20 çalışma.
Aradaki çalışma varyasyonu, DerSimonian ve Laird rastgele etkiler modeli kullanılarak dahil edilebilir (pozitif LR (%95 GA): 2,54 (2.16 ila 2·98)) ancak yine bu tür heterojen sonuçları birleştirmenin mantıklı olup olmadığı tartışmalıdır. Özet pozitif olabilirlik oranının, çalışma değerlerinin çoğundan biraz uzakta olduğu oldukça açıktır.
Bununla birlikte, olabilirlik oranının resmi bir havuzlanmış tahmininin sunulup sunulmadığına bakılmaksızın, çalışmalar genelindeki pozitif olabilirlik oranlarının değerlerinden (hepsi 10'un oldukça altındadır) pozitif bir test sonucunun varlığına dair ikna edici kanıt sağlayamayacağı açıktır.
Negatif olabilirlik oranları, önemli bir heterojenlik kanıtı göstermez (Cochran's Q=27.9, df=19, P=0.09), Mantel-Haenszel havuzlanmış tahmini (%95 GA) 0.09 (0.06 ila 0) ·13) ve ROC grafiğindeki özet satırı, çalışma sonuçlarının çoğuna yakındır. Bu bulgu, 5 mm'den daha küçük bir EVUS ölçümünün endometriyal kanseri ekarte eden makul derecede ikna edici kanıtlar sağlayabileceğini gösterdiği için çok faydalıdır.
EVUS'si 5 mm'nin altında olan bir kadında endometriyal kanser olasılığı, postmenopozal vajinal kanama ile başvuran kadınlarda endometriyal kanserin lokal prevalansına bağlıdır. 20 çalışmadaki %13'lük ortalama prevalansı alarak ve Bayes teoremi1,3,11 uygulayarak, EVUS ölçümü <5 mm olan kadınların yalnızca %1,3'ünün endometriyal kansere sahip olacağını aşağıdaki gibi tahmin edebiliriz.
Belirli klinik örnek için, olabilirlik oranlarının havuzlanması, muhtemelen bu çalışmalardan elde edilen en önemli klinik özet bilgileri sağlar.
Vaka çalışması : Tanısal olasılık oranlarını birleştirmek
Tanısal eşikten bağımsız olarak sabit tanı olasılık oranlarını varsayan bir model, duyarlılığın özgüllüğe eşit olduğu azalan bir çapraz çizgi etrafında simetrik olan bir özet ROC eğrisine karşılık gelir. 20 çalışmanın tümünün duyarlılıkları özgüllüklerden daha yüksek olduğundan, 20 çalışmanın tümünün sonuçları ROC grafiğinde bu diyagonal çizginin üzerindedir. Bu durumda simetrik bir özet ROC çizgisi savunulabilir.
Odds oranlarını birleştirmek için Mantel-Haenszel yöntemini kullanarak bir özet tanısal olasılık oranının hesaplanması, 28·0 (18·2 ila 43·2) bir tahmin (%95 GA) verir. Büyük bir heterojenlik kanıtı yoktu (Cochran's Q=22.0, df=19, P=0.3), bu nedenle bu tanısal olasılık oranı, çalışmalar arasında tanısal performansın makul ölçüde tutarlı bir özet ölçüsü gibi görünmektedir.
Tanısal olasılık oranı, rakamlara bakılarak (duyarlılık=0.95 ve özgüllük=0.60 ise DOR'nin 28.5 olacağını gösterir) veya özetin grafiğini çizerek duyarlılıklar ve özgüllükler açısından yorumlanabilir.
Bununla birlikte, duyarlılık ve özgüllüğün benzersiz bir ortak özet tahmini yoktur: yalnızca diğerinin değerine bağlı olarak bir değerin özet tahminini elde etmek mümkündür.
Nihai Meta-Analiz Tahmini
Bir Örnek: Geçerlilik Genellemesi
Şimdi bir sözel yetenek testi için varsayımsal, ancak gerçekçi bir geçerlilik genelleme örneği ele alacağız. Başvuru sahibi grupta (sınırsız grup) hesaplanan bu testin güvenilirliği, isrXXa =.85.Tablo 3.5a’dagösterilen12çalışma, daha önce işe alınmış olan iş görevlileri üzerinde hiçbir kaydımız olmayan çeşitli prosedürler kullanılarak yürütülmüştür; bu nedenle, herhangi bir aralık kısıtlamasıdır. Gözlenen geçerlilikler .07 ile .49 arasında değişmektedir ve 12 geçerlilik tahmininin sadece 7’si istatistiksel olarak anlamlıdır. Tablo 3.5a’daki ikinci sütundaki uX değerlerinin tümü 1,00’den küçüktür ve dolaylı aralık kısıtlaması olduğunu gösterir.
Denklem (3.16)’yı kullanarak bu uX değerlerini uT değerlerine dönüştürüyoruz, hangi tabloda gösterilmiştir. İş performansı güvenilirliklerinin ilk sütunu (ryyi) kısıtlı değerleri temsil eder (yani, görevdeki örneklerde hesaplananlar).
Bunlar, bu örnekteki hesaplamalar için gerekli olan ryy değerleridir. Theryya başvuru sahibi grubundaki tahmini ölçüt güvenirliklerine değer verir. (Bu değerler Bölüm 5’teki Denklem [5.20] kullanılarak hesaplanır.) Tablo 3.5a’daki test güvenilirlikleri kısıtlı (görevli grup) değerlerdir (yani, rXXi ). Dolaylı aralık kısıtlamasının etkileri nedeniyle, rXXi değerlerinin başvuru sahibi havuz değerinden rXXa = .85 daha küçük olduğuna dikkat edin. (Test güvenilirlikleri, Denklem [3.17c] kullanılarak rXXa = .85 değerinden hesaplanır.) Önce ölçüm için gözlemlenen her bir korelasyonu düzeltiriz. Her iki değişkende de hata ve ardından aralık kısıtlama düzeltme formülündeki uT değerlerini kullanarak aralık kısıtlaması için düzeltme yapın.
Bu düzeltilmiş korelasyonlar son sütunda gösterilmiştir. Bu varsayımsal verileri oluşturmak için kullanılan temel gerçek puan (yapı düzeyi) korelasyonu ρ = .57’dir. Bununla birlikte, gerçek puan korelasyonu, operasyonel geçerliliği olduğundan fazla tahmin eder, çünkü gerçek testte gelecekteki iş performansını tahmin etmek için gözlemlenen test puanlarını kullanmalıyız ve başvuranların (bilinmeyen) gerçek puanlarını kullanamayız. Bu nedenle, bu örneği oluşturmak için kullanılan gerçek geçerlilik ρxyt = kısıtlamadır, meta-analiz her iki değişkende de ölçüm hatasını düzeltmelidir.
cma ile meta-analiz
meta-analiz çalışması örneği
Meta-analiz aşamaları
cma meta-analiz programı indir
Meta-sentez ve meta analiz arasındaki fark
Meta analiz nasıl yazılır
Meta-analiz etki büyüklüğü
Meta-analiz ile literatür taraması arasındaki farklar
Çalışılmış Bir Örnek: Dolaylı Menzil Kısıtlaması
Şimdi örneğimizdeki verilerin meta-analizine geçiyoruz. Hesaplamalarımız VG6-I bilgisayar programındakilerle aynıdır (dolaylı menzil kısıtlaması için). (Bu programı içeren yazılım paketinin mevcudiyeti için Ek’e bakın.) Her bir çalışmayı aşağıdaki gibi ağırlıklandırıyoruz.
Bu hesaplamalar için çalışma sayfası gösterilmektedir. Her çalışma için zayıflama faktörü, en kolay şekilde düzeltilmemiş korelasyonun düzeltilmiş korelasyona oranı olarak hesaplanır.
Bu varsayımsal örnekteki tüm çalışmalar aynı örnek boyutuna sahip olduğundan, bu, her çalışma için düzeltilmemiş korelasyonlardaki örnekleme hatası varyansının tahminidir.
Bu tahmin, Tablo 3.5b’deki “Basit Hata Varyansı” sütununda kaydedilmiştir. Ancak, düzeltme dönüşümünün türevi kullanılarak hesaplanan düzeltme faktörü kullanılarak daha doğru bir tahmin elde edilir.
Tahmini ortalama gerçek puan korelasyonu (.574) gerçek değere (.570) çok yakındır. Tüm anakütle korelasyonlarının aynı olduğu varsayıldığından, anakütle korelasyonlarının varyansı aslında 0’dır. Bu nedenle, örnekleme hatası varyansı, gözlemlenen varyansa eşit olmalıdır.
−.000994 değeri, 0’ın gerçek değerine çok daha yakındır ve yine doğru bir şekilde gerçek değerin 0 olduğunu gösterir. Her bir korelasyonu ayrı ayrı düzelten meta-analiz, VG6 programı kullanılarak bilgisayarda gerçekleştirilebilir. (Yazılım paketinin açıklaması için Ek’e bakın.) Bu programın doğrudan ve dolaylı menzil kısıtlaması için ayrı alt programları vardır.
Dolaylı menzil kısıtlaması durumunda, buradaki örneğimizde olduğu gibi, programa girilen güvenilirlikler kısıtlı gruptakiler olmalıdır. (Kısıtlanmamış bağımsız değişken güvenilirlikleri girilirse, program bunları Denklem kullanılarak sınırlı grup değerlerine dönüştürür) Aralık kısıtlaması düzeltmesinden önce her iki değişken için güvenilirlik düzeltmeleri yapılır.
Aralık kısıtlaması doğrudan ise, bağımlı değişken için güvenilirlik düzeltmesi, aralık kısıtlaması düzeltmesinden önce yapılabilir, ancak bağımsız değişkendeki güvenilmezlik düzeltmesi, sınırlamasız değişkendeki güvenilirlik (rXXa ) kullanılarak aralık kısıtlaması düzeltmesinden sonra yapılmalıdır.
Bunun nedeni, bağımsız değişken üzerindeki doğrudan aralık kısıtlamasının, seçilen örneklemde gerçek puanların ve ölçüm hatalarının (negatif olarak) ilişkilendirilmesine neden olması ve dolayısıyla güvenilirlik teorisinin altında yatan kritik varsayımı ihlal etmesidir.
Bu koşullar altında, seçilen örneklemdeki bağımsız değişkenin güvenirliği tanımlanamaz ve tanımlanamaz; bu nedenle, bu düzeltme, sınırlandırılmamış örnekte elde edilen bir rXXa tahmini kullanılarak, aralık kısıtlama düzeltmesi yapıldıktan sonra yapılmalıdır. Mendoza ve Mumford (1987) bu önemli gerçeğe işaret eden ilk kişilerdi.
Avcı ve ark. (2002) bu düşünceyi meta-analiz prosedürlerine dahil etmiştir. Elbette meta-analiz bir geçerlilik genelleme çalışması ise, bağımsız değişkende güvenilmezliği düzeltmeye gerek yoktur ve bu düzeltme basitçe atlanır.
Örneğimize dönersek, elde ettiğimiz .57’lik ortalama düzeltilmiş korelasyon gerçek geçerliliği tahmin etmez, çünkü bağımsız değişkendeki (yordayıcı testi) ölçüm hatası için düzeltilmiştir. .57 değeri, ortalama operasyonel geçerlilik (ρxyt) değil, ortalama gerçek puan korelasyonudur. Aday havuzu (sınırsız) grubunda (yani, örneğimizin başında belirtildiği gibi rXXa = .85) bu testin güvenilirliğini bildiğimiz için, gerekli operasyonel geçerlilik tahminlerini aşağıdaki gibi kolayca hesaplayabiliriz.
Yine, bu iki değer de doğrudur. Personel seçiminde uygulamalı çalışma için operasyonel geçerlilik tahminine ihtiyacımız olmasına rağmen, teorik araştırma (teori testi) için gerekli olan .57’lik yapı düzeyinde korelasyondur. Personel seçimi alanı dışındaki çoğu meta-analiz, oryantasyonda teoriktir.
Daha sonra, karşılaştırma amacıyla, gözlemlenen korelasyonlar (çıplak meta-analiz) ve tamamen düzeltilmiş korelasyonlar (tam meta-analiz) için örnekleme hatası düzeltmelerini sunuyoruz.
Bu sonuçlar Windows tabanlı VG6-I programı kullanılarak kontrol edilebilir (kullanılabilirlik için Ek’e bakın). Program sonuçları burada hesaplananlarla aynıdır. Düzeltilmemiş korelasyonların sonuçları, .28’lik bir yanlış ortalamayı (.57’nin gerçek değerine karşı) ve .07’lik bir standart sapmayı (gerçek standart sapmanın 0’a karşı) gösterir. Bu varsayımsal verileri oluşturmak için kullanılan gerçek etki büyüklüğü korelasyonu ile karşılaştırıldığında çıplak kemik meta-analizi çok yanlıştır. Bununla birlikte, düzeltilmemiş korelasyon meta-analizindeki hata, bilinen eserler ile tam olarak tutarlıdır.