Vaka Çalışması : Hassasiyetlerin ve Özgünlüklerin Birleştirilmesi
20 çalışmanın duyarlılıkları ve özgünlükleri sunulmuştur. Grafikten, duyarlılıkların nispeten homojen olduğu (neredeyse tüm güven aralıkları örtüşmektedir) görünürken, özgüllüklerin büyük ölçüde heterojen olduğu açıkça görülmektedir.
En basit analiz, çalışmalar arasında duyarlılık ve özgüllük tahminlerini ayrı ayrı bir araya toplar, ancak yalnızca tanı eşiğinde bir değişiklik yoksa uygundur. Tüm bu çalışmalar endometriyal kalınlıkların 5 mm'lik bir kesim noktası kullandığını iddia etse de, makine kalibrasyonu ve ölçüm tekniğindeki farklılıklar nedeniyle teşhis eşiğinde gözlemlenmeyen varyasyonların ortaya çıkması hala mümkündür.
20 çalışma boyunca duyarlılıklar ve özgüllükler arasındaki korelasyonu hesaplayarak bir eşik etkisini kabaca test edebiliriz. Duyarlılıkların ve özgüllüklerin normal olarak dağılmadığı durumlarda parametrik olmayan bir korelasyon tercih edilir: bu veriler için Spearman's rho'nun istatistiksel olarak anlamlı olmayan (P=0.6) 0·14 olduğu tahmin edilmektedir.
Duyarlılık
Yukarıda verilen formüller kullanılarak, birleştirilmiş duyarlılık ve standart hatası tahminleri bulunur. Ki-kare testi için beklenen minimum frekansların varsayımı karşılanmadığından (çoğu çalışmada yanlış negatif sayısı için beklenen değerler 5'ten az olduğundan), çalışmalar genelinde duyarlılıkların homojenliğini kontrol etmek için bir ki-kare testi kullanmak zordur. ve Fisher'in kesin testinin 220'lik bir tabloda hesaplanması, sayısal olarak önemsiz değildir.
Alternatif olabilirlik oranı testi, 19 serbestlik derecesinde 31.2'lik bir ki-kare değeri verir (P=0.04). Bu resmi olarak istatistiksel olarak anlamlı olsa da, sonuçlar arasındaki heterojenlik derecesi küçüktür ve yirmi çalışmadan yalnızca biri (Dorum) genel değeri kendi güven aralığına dahil etmez.
ROC grafiğindeki yatay çizgi, bu özet tahmine karşılık gelir ve çalışmaların çoğuna makul ölçüde yakındır. Bu nedenle, 0·958'lik genel duyarlılık tahmini makul bir özet gibi görünmektedir ve testin endometriyal kanseri saptamada kullanım için uygun şekilde yüksek duyarlılığa sahip olduğu sonucuna varabiliriz.
Özgüllük
Duyarlılıklarla aynı hesaplamaları takiben, ortalama özgüllüğün genel tahmini (%95 GA) 0.608'dir (0.590 ila 0.626). Bununla birlikte, bir ki-kare testi (2=201, df=19, P<0,001)'de gözlemlenen heterojenliğin istatistiksel önemini doğrular.
Çalışmalar arasındaki farklılıklardan kaynaklanan ekstra belirsizlik, aşırı yayılımı hesaba katan bir lojistik modelin kullanılmasıyla dahil edilebilir. Bu, (0.549 ila 0.664) güven aralığı üretir; Orijinal Tahmin.
Çalışmalar arasındaki büyük heterojenlik, birçok çalışmanın sonuçlarının özet özgüllüğünden biraz uzakta olmasıyla açıkça görülmektedir. Böyle bir durumda, özgüllükleri bir araya toplamak muhtemelen hiç uygun değildir ve özgüllüklerin değiştiği görülen [0·267 ila 0·875] aralığını tanımlayarak heterojenliği not etmek en iyisi olabilir.
Olasılık Oranlarının Havuzlanması
Olabilirlik oranları, olasılık oranlarıdır ve bir meta-analizde risk oranları olarak ele alınabilir (ancak RCT'lerde olduğu gibi satırlar arasında değil, 22 tablosunun sütunları arasında hesaplanmıştır). Olabilirlik oranlarının ağırlıklı ortalaması, standart Mantel-Haenszel veya ana hatlarıyla belirtilen risk oranlarının meta-analizinin ters varyans yöntemleri kullanılarak hesaplanabilir. Olabilirlik oranlarının heterojenliği, istatistikleri bir meta-analizde birleştirdikten sonra standart heterojenlik testleri ile de test edilebilir.
Duyarlılık analizi örneği
Duyarlılık analizi nasıl yapılır
Yöneylem Araştırması duyarlılık analizi
Duyarlılık analizi hesaplayıcı
Duyarlılık analizi Grafik yöntem
Duyarlılık Analizi yorumlama
DUYARLILIK ANALİZİ Soruları
Duyarlılık analizi çözümlü sorular
Vaka çalışması: Olasılık oranlarının birleştirilmesi
Olasılık oranları, duyarlılık ve özgüllüğe ilişkin özet tahminlerden veya meta-analizin risk oranı yöntemleri kullanılarak her çalışma için hesaplanan olasılık oranlarının havuzlanmasıyla tahmin edilebilir (bkz. Bölüm 15). Havuzlama yöntemi, çalışmalar arasındaki olabilirlik oranlarındaki heterojenliğin araştırılmasına izin verdiği ve yukarıda hesaplanan güvenilmez özgüllük tahminini kullanmadığı için tercih edilir.
Mantel-Haenszel yöntemini kullanarak pozitif olabilirlik oranlarını birleştirmek, 2.38 (2.26 ila 2.51) genel bir tahmin (%95 GA) verir. Ancak, özgüllüklerde olduğu gibi, çalışmalar arasında pozitif olabilirlik oranlarında önemli bir heterojenlik vardır (Cochran's Q=187, df=19, P<0.001) ve 2·38 tahmini, 8'in %95 güven aralığının dışındadır. 20 çalışma.
Aradaki çalışma varyasyonu, DerSimonian ve Laird rastgele etkiler modeli kullanılarak dahil edilebilir (pozitif LR (%95 GA): 2,54 (2.16 ila 2·98)) ancak yine bu tür heterojen sonuçları birleştirmenin mantıklı olup olmadığı tartışmalıdır. Özet pozitif olabilirlik oranının, çalışma değerlerinin çoğundan biraz uzakta olduğu oldukça açıktır.
Bununla birlikte, olabilirlik oranının resmi bir havuzlanmış tahmininin sunulup sunulmadığına bakılmaksızın, çalışmalar genelindeki pozitif olabilirlik oranlarının değerlerinden (hepsi 10'un oldukça altındadır) pozitif bir test sonucunun varlığına dair ikna edici kanıt sağlayamayacağı açıktır.
Negatif olabilirlik oranları, önemli bir heterojenlik kanıtı göstermez (Cochran's Q=27.9, df=19, P=0.09), Mantel-Haenszel havuzlanmış tahmini (%95 GA) 0.09 (0.06 ila 0) ·13) ve ROC grafiğindeki özet satırı, çalışma sonuçlarının çoğuna yakındır. Bu bulgu, 5 mm'den daha küçük bir EVUS ölçümünün endometriyal kanseri ekarte eden makul derecede ikna edici kanıtlar sağlayabileceğini gösterdiği için çok faydalıdır.
EVUS'si 5 mm'nin altında olan bir kadında endometriyal kanser olasılığı, postmenopozal vajinal kanama ile başvuran kadınlarda endometriyal kanserin lokal prevalansına bağlıdır. 20 çalışmadaki %13'lük ortalama prevalansı alarak ve Bayes teoremi1,3,11 uygulayarak, EVUS ölçümü <5 mm olan kadınların yalnızca %1,3'ünün endometriyal kansere sahip olacağını aşağıdaki gibi tahmin edebiliriz.
Belirli klinik örnek için, olabilirlik oranlarının havuzlanması, muhtemelen bu çalışmalardan elde edilen en önemli klinik özet bilgileri sağlar.
Vaka çalışması : Tanısal olasılık oranlarını birleştirmek
Tanısal eşikten bağımsız olarak sabit tanı olasılık oranlarını varsayan bir model, duyarlılığın özgüllüğe eşit olduğu azalan bir çapraz çizgi etrafında simetrik olan bir özet ROC eğrisine karşılık gelir. 20 çalışmanın tümünün duyarlılıkları özgüllüklerden daha yüksek olduğundan, 20 çalışmanın tümünün sonuçları ROC grafiğinde bu diyagonal çizginin üzerindedir. Bu durumda simetrik bir özet ROC çizgisi savunulabilir.
Odds oranlarını birleştirmek için Mantel-Haenszel yöntemini kullanarak bir özet tanısal olasılık oranının hesaplanması, 28·0 (18·2 ila 43·2) bir tahmin (%95 GA) verir. Büyük bir heterojenlik kanıtı yoktu (Cochran's Q=22.0, df=19, P=0.3), bu nedenle bu tanısal olasılık oranı, çalışmalar arasında tanısal performansın makul ölçüde tutarlı bir özet ölçüsü gibi görünmektedir.
Tanısal olasılık oranı, rakamlara bakılarak (duyarlılık=0.95 ve özgüllük=0.60 ise DOR'nin 28.5 olacağını gösterir) veya özetin grafiğini çizerek duyarlılıklar ve özgüllükler açısından yorumlanabilir.
Bununla birlikte, duyarlılık ve özgüllüğün benzersiz bir ortak özet tahmini yoktur: yalnızca diğerinin değerine bağlı olarak bir değerin özet tahminini elde etmek mümkündür.
Analiz Ne Zaman ve Nasıl Oluşturulur?
Sonuçların kümülasyonu, ideal olarak, kapsamlı arama prosedürleriyle belirlenen çok sayıda çalışmaya dayanmalıdır. Bununla birlikte, kümülasyon, mevcut çalışmaların rastgele bir örneği olduğu sürece, hemen elde bulunan çalışmaların “uygunluk” örnekleri için de geçerlidir.
Bu, özellikle düzeltilmiş standart sapma, çalışmalar arasındaki tüm varyasyonun örnekleme hatasından kaynaklandığını gösteriyorsa doğrudur. Tüm varyasyon örnekleme hatasından kaynaklanıyorsa, o zaman tek gerçek popülasyon değeriyle ilişkili ortalama değerin doğruluğu, çalışmalar boyunca toplam denek sayısı tarafından belirlenir. Nispeten az sayıda çalışma bile büyük bir kümülatif örneklem büyüklüğüne sahip olabilir.
Uygun bir çalışma örneğinde küçük bir düzeltilmiş standart sapma varsa, o zaman dolaylı olarak örneklenen çalışma popülasyonu boyunca sonuçlarda çok az değişiklik olduğu veya hiç olmadığı sonucuna varılır. Bununla birlikte, araştırmacı, başkalarının aynı çalışma popülasyonuna koyacağı çalışmaları sistematik olarak dışlamış olabilir. Bu durumda, hariç tutmanın temeli gerçek bir moderatör değişken olabilir ve hariç tutulan sonuçların popülasyonu, farklı bir popülasyon korelasyon değeri etrafında kümelenebilir. Uygun bir örneğe güvenmek her zaman bir miktar risk içerir.
Meta-analizde önemli bir konu, meta-analize dahil edilen çalışmaların temsil edilebilirliği sorunu olmuştur. Bu, potansiyel kaynak yanlılığı, kullanılabilirlik yanlılığı veya yayın yanlılığı olarak adlandırılmıştır. Örneğin, kısmen yayınlanmış çalışmaların daha iyi tasarlanmış olması, kısmen de editör hakemlerinin istatistiksel olarak anlamlı sonuçları olan çalışmaları önemli ölçüde tercih etmeleri nedeniyle, yayınlanmış çalışmaların yayınlanmamış olanlardan daha büyük korelasyonlara ve etki boyutlarına sahip olduğu uzun süredir iddia edilmektedir.
Gerçek etki büyüklüğünün 0 olduğu araştırma alanları nadirdir. Lipsey ve Wilson (1993), inceledikleri 302 araştırma alanının %1’inden daha azında durumun böyle olduğunu bulmuşlardır. Gerçek etki büyüklüğü 0 ise ve Tip I hata içeren bazı çalışmalar yayınlanıyorsa ve Tip I hatası olmayan çalışmaların çoğu yayınlanmıyorsa, yayınlanmış çalışmalarla sınırlı bir değerlendirme şu durumlarda bir ilişkinin var olduğu sonucuna varacaktır: aslında hiçbiri yapmaz.
Nefes artefaktları nedeniyle değerlendirme suboptimaldir
Hareket artefaktı ne demek
Mr artefakt nedir
Artefaktlar
Paramanyetik artefakt nedir
Ferromanyetik artefakt nedir
Solunum artefaktları
Metalik artefakt nedir
Gerçek etki büyüklüğü 0 olmasa bile, büyüklüğünün tahmininde yine de yukarı yönlü bir yanlılık olabilir (ancak, tanım gereği, Tip I hata olmayabilir). İki çalışma, yayınlanmamış çalışmaların daha küçük etki boyutlarına sahip olduğuna dair bazı kanıtlar sunmaktadır. Smith ve Glass (1977), psikoterapi üzerine 375 çalışmanın standartlaştırılmış etki boyutlarını analiz etmiştir. Kitaplarda yayınlanan çalışmaların ortalama d değerinin .80, dergilerde yayınlananların ortalama etki büyüklüğünün .70, tezlerin ortalama .60 ve yayınlanmamış çalışmaların ortalama .50 olduğunu bulmuşlardır.
Rosenthal ve Rubin (1978a, 1978b), kişilerarası beklenti etkisi çalışmalarının bir örneğinde, 32 tezin ortalama d değerinin .35 ve 313 tez dışı çalışmanın ortalamasının .65 olduğunu bulmuşlardır. Her iki yazar grubu da yayınlanmış ve yayınlanmamış çalışmaların göreceli metodolojik kalitesine ilişkin bir değerlendirme bildirmemiştir.
Yayınlanmış ve yayınlanmamış çalışmaların ortalama etki büyüklüğü arasındaki farkın çoğu, metodolojik kalitedeki farklılıklardan (örneğin, ölçüm hatası seviyeleri) kaynaklanabilir. Artefaktların zayıflama etkileri uygun şekilde düzeltildiyse, farklılıklar ortadan kalkabilir. Meta-analizde kaynak sapması için test etme, saptama ve düzeltme yöntemleri tartışılmaktadır.
Düzeltilmiş Standart Sapmadaki Artefaktlar için Alt Düzeltme
Çalışmalar arasında sonuçların düzeltilmiş standart sapması, her zaman gerçek standart sapmanın fazla tahmin edilmesi olarak görülmelidir. Bugüne kadar geliştirilen prosedürler, çalışmalar arasında sahte varyasyonlar üreten eserlerden yalnızca bazıları için doğrudur. Benzer etkilere sahip başka eserler de var. Bunların en büyüğü hesaplama veya raporlama hatalarıdır.
.00 ile .60 arasında değişen 30 korelasyonunuz ve −.45’lik bir korelasyonunuz varsa (çalışmalarımızdan birinde karşılaştığımız bir durum), aykırı değerin bazı hatalı hesaplama veya raporlama prosedüründen kaynaklandığı neredeyse kesindir, örneğin , ters puanlanan bir değişkenin işaretini tersine çevirememek veya bir bilgisayar çalışmasında yanlış formatı kullanmak veya bir yazım hatası vb.
Çalışmalar arasında sahte varyasyon yaratan diğer yapay unsurlar, ölçümün güvenilirliğindeki farklılıklar, ölçümün yapı geçerliliğindeki farklılıklar (örneğin, personel seçimi çalışmalarında kriter kirliliği veya kriter eksikliği gibi), farklı çalışmalarda ölçülen değişkenlerin varyanslarındaki farklılıklar (örneğin, personel seçimi çalışmalarında menzil kısıtlamasındaki farklılıklar) ve tedavinin miktarı veya gücündeki farklılıklar (deneysel çalışmalarda).
Aslında, pek çok ortamda ilgili soru şudur: Çalışmalar arasındaki tüm varyasyonlar yapay mı? Personel seçimi alanında, tek grup geçerliliği, ırka veya etnik gruba göre farklılık geçerliliği, ortam veya zamana göre yetenek testi geçerliliğinin özgüllüğü ve derecelendirmelerdeki hale miktarı gibi bir dizi alanda sonuç bu olmuştur. farklı yöntemler kullanılarak yapılmıştır.
Bununla birlikte, tüm varyasyonların yapay olduğu hipotezini test etmek çok önemlidir – ve sabit etkiler meta-analiz modellerinin yaptığı gibi durumun sadece a priori olduğunu varsaymak değil. Bu kitapta sunulan model ve prosedürlerin tümü rastgele etki modelleridir ve bu hipotezi ampirik olarak test ederler. Sabit etkiler ve rastgele etkiler meta-analiz modelleri arasındaki ayrım, Bölüm 5 ve 9’da sunulmaktadır.
Bazı artefaktlar ölçülebilir ve düzeltilebilir. Güvenilirlikteki farklılıklar ve menzildeki kısıtlamalar için düzeltmeler ilk olarak Schmidt ve Hunter (1977) ve Schmidt, Hunter, Pearlman ve Shane (1979); bunlar Bölüm 3 ve 4’te açıklanmıştır. Alternatif ölçümleri birbiriyle ilişkilendiren bir yol analizi sağlayan entegre bir çalışma varsa, ölçümlerin yapı geçerliliğindeki farklılıklar benzer teknikler kullanılarak düzeltilebilir (bu bölümün başlarındaki tartışmaya bakın) . Tedavi etkilerindeki (teşvikin büyüklüğü gibi) nicel farklılıklar, ilk kümülasyon, tedavinin bu yönü ile çalışma sonucu arasındaki ilişkiyi (varsa) kurduktan sonra kodlanabilir ve düzeltilebilir.
Ancak, bu düzeltmeler, genellikle mevcut olmayan ek bilgilere bağlıdır. Örneğin, güvenilirlikler ve standart sapmalar genellikle korelasyonel çalışmalara dahil edilmez. Çoğu deneysel çalışmada bile dikkate alınmazlar. Ve ne yazık ki, hesaplama ve raporlama hataları asla tam olarak ölçülemeyecek ve ortadan kaldırılmayacaktır.