Vaka Çalışması : Hassasiyetlerin ve Özgünlüklerin Birleştirilmesi
20 çalışmanın duyarlılıkları ve özgünlükleri sunulmuştur. Grafikten, duyarlılıkların nispeten homojen olduğu (neredeyse tüm güven aralıkları örtüşmektedir) görünürken, özgüllüklerin büyük ölçüde heterojen olduğu açıkça görülmektedir.
En basit analiz, çalışmalar arasında duyarlılık ve özgüllük tahminlerini ayrı ayrı bir araya toplar, ancak yalnızca tanı eşiğinde bir değişiklik yoksa uygundur. Tüm bu çalışmalar endometriyal kalınlıkların 5 mm'lik bir kesim noktası kullandığını iddia etse de, makine kalibrasyonu ve ölçüm tekniğindeki farklılıklar nedeniyle teşhis eşiğinde gözlemlenmeyen varyasyonların ortaya çıkması hala mümkündür.
20 çalışma boyunca duyarlılıklar ve özgüllükler arasındaki korelasyonu hesaplayarak bir eşik etkisini kabaca test edebiliriz. Duyarlılıkların ve özgüllüklerin normal olarak dağılmadığı durumlarda parametrik olmayan bir korelasyon tercih edilir: bu veriler için Spearman's rho'nun istatistiksel olarak anlamlı olmayan (P=0.6) 0·14 olduğu tahmin edilmektedir.
Duyarlılık
Yukarıda verilen formüller kullanılarak, birleştirilmiş duyarlılık ve standart hatası tahminleri bulunur. Ki-kare testi için beklenen minimum frekansların varsayımı karşılanmadığından (çoğu çalışmada yanlış negatif sayısı için beklenen değerler 5'ten az olduğundan), çalışmalar genelinde duyarlılıkların homojenliğini kontrol etmek için bir ki-kare testi kullanmak zordur. ve Fisher'in kesin testinin 220'lik bir tabloda hesaplanması, sayısal olarak önemsiz değildir.
Alternatif olabilirlik oranı testi, 19 serbestlik derecesinde 31.2'lik bir ki-kare değeri verir (P=0.04). Bu resmi olarak istatistiksel olarak anlamlı olsa da, sonuçlar arasındaki heterojenlik derecesi küçüktür ve yirmi çalışmadan yalnızca biri (Dorum) genel değeri kendi güven aralığına dahil etmez.
ROC grafiğindeki yatay çizgi, bu özet tahmine karşılık gelir ve çalışmaların çoğuna makul ölçüde yakındır. Bu nedenle, 0·958'lik genel duyarlılık tahmini makul bir özet gibi görünmektedir ve testin endometriyal kanseri saptamada kullanım için uygun şekilde yüksek duyarlılığa sahip olduğu sonucuna varabiliriz.
Özgüllük
Duyarlılıklarla aynı hesaplamaları takiben, ortalama özgüllüğün genel tahmini (%95 GA) 0.608'dir (0.590 ila 0.626). Bununla birlikte, bir ki-kare testi (2=201, df=19, P<0,001)'de gözlemlenen heterojenliğin istatistiksel önemini doğrular.
Çalışmalar arasındaki farklılıklardan kaynaklanan ekstra belirsizlik, aşırı yayılımı hesaba katan bir lojistik modelin kullanılmasıyla dahil edilebilir. Bu, (0.549 ila 0.664) güven aralığı üretir; Orijinal Tahmin.
Çalışmalar arasındaki büyük heterojenlik, birçok çalışmanın sonuçlarının özet özgüllüğünden biraz uzakta olmasıyla açıkça görülmektedir. Böyle bir durumda, özgüllükleri bir araya toplamak muhtemelen hiç uygun değildir ve özgüllüklerin değiştiği görülen [0·267 ila 0·875] aralığını tanımlayarak heterojenliği not etmek en iyisi olabilir.
Olasılık Oranlarının Havuzlanması
Olabilirlik oranları, olasılık oranlarıdır ve bir meta-analizde risk oranları olarak ele alınabilir (ancak RCT'lerde olduğu gibi satırlar arasında değil, 22 tablosunun sütunları arasında hesaplanmıştır). Olabilirlik oranlarının ağırlıklı ortalaması, standart Mantel-Haenszel veya ana hatlarıyla belirtilen risk oranlarının meta-analizinin ters varyans yöntemleri kullanılarak hesaplanabilir. Olabilirlik oranlarının heterojenliği, istatistikleri bir meta-analizde birleştirdikten sonra standart heterojenlik testleri ile de test edilebilir.
Duyarlılık analizi örneği
Duyarlılık analizi nasıl yapılır
Yöneylem Araştırması duyarlılık analizi
Duyarlılık analizi hesaplayıcı
Duyarlılık analizi Grafik yöntem
Duyarlılık Analizi yorumlama
DUYARLILIK ANALİZİ Soruları
Duyarlılık analizi çözümlü sorular
Vaka çalışması: Olasılık oranlarının birleştirilmesi
Olasılık oranları, duyarlılık ve özgüllüğe ilişkin özet tahminlerden veya meta-analizin risk oranı yöntemleri kullanılarak her çalışma için hesaplanan olasılık oranlarının havuzlanmasıyla tahmin edilebilir (bkz. Bölüm 15). Havuzlama yöntemi, çalışmalar arasındaki olabilirlik oranlarındaki heterojenliğin araştırılmasına izin verdiği ve yukarıda hesaplanan güvenilmez özgüllük tahminini kullanmadığı için tercih edilir.
Mantel-Haenszel yöntemini kullanarak pozitif olabilirlik oranlarını birleştirmek, 2.38 (2.26 ila 2.51) genel bir tahmin (%95 GA) verir. Ancak, özgüllüklerde olduğu gibi, çalışmalar arasında pozitif olabilirlik oranlarında önemli bir heterojenlik vardır (Cochran's Q=187, df=19, P<0.001) ve 2·38 tahmini, 8'in %95 güven aralığının dışındadır. 20 çalışma.
Aradaki çalışma varyasyonu, DerSimonian ve Laird rastgele etkiler modeli kullanılarak dahil edilebilir (pozitif LR (%95 GA): 2,54 (2.16 ila 2·98)) ancak yine bu tür heterojen sonuçları birleştirmenin mantıklı olup olmadığı tartışmalıdır. Özet pozitif olabilirlik oranının, çalışma değerlerinin çoğundan biraz uzakta olduğu oldukça açıktır.
Bununla birlikte, olabilirlik oranının resmi bir havuzlanmış tahmininin sunulup sunulmadığına bakılmaksızın, çalışmalar genelindeki pozitif olabilirlik oranlarının değerlerinden (hepsi 10'un oldukça altındadır) pozitif bir test sonucunun varlığına dair ikna edici kanıt sağlayamayacağı açıktır.
Negatif olabilirlik oranları, önemli bir heterojenlik kanıtı göstermez (Cochran's Q=27.9, df=19, P=0.09), Mantel-Haenszel havuzlanmış tahmini (%95 GA) 0.09 (0.06 ila 0) ·13) ve ROC grafiğindeki özet satırı, çalışma sonuçlarının çoğuna yakındır. Bu bulgu, 5 mm'den daha küçük bir EVUS ölçümünün endometriyal kanseri ekarte eden makul derecede ikna edici kanıtlar sağlayabileceğini gösterdiği için çok faydalıdır.
EVUS'si 5 mm'nin altında olan bir kadında endometriyal kanser olasılığı, postmenopozal vajinal kanama ile başvuran kadınlarda endometriyal kanserin lokal prevalansına bağlıdır. 20 çalışmadaki %13'lük ortalama prevalansı alarak ve Bayes teoremi1,3,11 uygulayarak, EVUS ölçümü <5 mm olan kadınların yalnızca %1,3'ünün endometriyal kansere sahip olacağını aşağıdaki gibi tahmin edebiliriz.
Belirli klinik örnek için, olabilirlik oranlarının havuzlanması, muhtemelen bu çalışmalardan elde edilen en önemli klinik özet bilgileri sağlar.
Vaka çalışması : Tanısal olasılık oranlarını birleştirmek
Tanısal eşikten bağımsız olarak sabit tanı olasılık oranlarını varsayan bir model, duyarlılığın özgüllüğe eşit olduğu azalan bir çapraz çizgi etrafında simetrik olan bir özet ROC eğrisine karşılık gelir. 20 çalışmanın tümünün duyarlılıkları özgüllüklerden daha yüksek olduğundan, 20 çalışmanın tümünün sonuçları ROC grafiğinde bu diyagonal çizginin üzerindedir. Bu durumda simetrik bir özet ROC çizgisi savunulabilir.
Odds oranlarını birleştirmek için Mantel-Haenszel yöntemini kullanarak bir özet tanısal olasılık oranının hesaplanması, 28·0 (18·2 ila 43·2) bir tahmin (%95 GA) verir. Büyük bir heterojenlik kanıtı yoktu (Cochran's Q=22.0, df=19, P=0.3), bu nedenle bu tanısal olasılık oranı, çalışmalar arasında tanısal performansın makul ölçüde tutarlı bir özet ölçüsü gibi görünmektedir.
Tanısal olasılık oranı, rakamlara bakılarak (duyarlılık=0.95 ve özgüllük=0.60 ise DOR'nin 28.5 olacağını gösterir) veya özetin grafiğini çizerek duyarlılıklar ve özgüllükler açısından yorumlanabilir.
Bununla birlikte, duyarlılık ve özgüllüğün benzersiz bir ortak özet tahmini yoktur: yalnızca diğerinin değerine bağlı olarak bir değerin özet tahminini elde etmek mümkündür.
Reaktif Düzenlemeler
Tepkisel düzenlemeler, tedavi prosedürünün görünüşte önemsiz bir yönünün, tedavinin bu şekilde yorumlanmasında beklenmeyen bir değişikliğe neden olduğu müdahalelerdir. İki olasılık vardır: reaktif ölçüm ve reaktif prosedür. Potansiyel reaktif ölçümün bir örneğini düşünün. Belirli bir dramatik filmin ırksal konularda özgecil düşünceler üreteceğine inandığımızı varsayalım. Irksal görüntüleri değerlendirmek için bir cümle tamamlama testi kullanıyoruz.
Tipik bir öğe “Siyah insanlardır” Kişinin filmden sonra filmden önce olduğundan daha fazla ırksal fedakarlık ifade edip etmediğini görüyoruz. Sorun şudur: Kişi kendisine (1) siyahlara yönelik tutumları ölçen bir test verildiğinde ve (2) daha sonra önyargı hakkında bir filmle sunulduğunda ne düşünecek? Kişi daha sonra “O kadar önyargılı değilim, değil mi?” şeklinde bir öz değerlendirme yapmaya çalışabilir. Kişi, önyargısız davranış örnekleri için hafızasını arardı.
Bu önyargılı anılar, daha sonra, son testte kaydedilen görünüşte özgecil düşüncelerin özünü oluşturabilir. Bu daha sonra deneyciyi yanlış bir sonuca götürür.
Bir reaktif prosedür örneğini düşünün. Kalite çemberi deneyinin bir parçası olarak, rastgele seçilen işçiler fabrika katından bir odaya alınır. Bunun ne için olduğunu merak edebilirler ve işçi sendikası sempatilerini veya amirlerinden hoşlanmamalarını veya her neyse, değerlendirme hakkında paranoyak teoriler oluşturabilirler. Daha sonra kalite çemberi sunumuna olumsuz tepki verecek şekilde önceden ayarlanabilirler. Böylece, reaktif prosedür sahte bir değişiklik üretebilir.
Reaktif ölçüm sorusunu düşünün. Politik, örgütsel veya klinik psikolojideki çoğu alan araştırması, önemli bağımlı değişkenlerin, deneyciler tarafından iyi bilinen ve katılımcılar tarafından makul ölçüde iyi anlaşılan değişkenlerin ölçümlerini kullanır. Bu nedenle, bu alanlarda reaktif ölçüm nadirdir.
Reaktif prosedür sorununu düşünün. Büyük ölçüde aldatmaya dayanan laboratuvar deneylerinde bu ciddi bir sorundur. Ancak çoğu saha çalışmasında deneklere çalışmanın amaçları anlatılır ve ölçümlerin doğası açıkça bu amaçlarla ilişkilidir. Bu nedenle, ölçüm sırları açığa çıkaramaz ve deneycinin bilinmeyen hedeflerine ilişkin tuhaf konu teorileri üretemez. Yani, psikolojik araştırmaların çoğu alanında reaktif prosedürler nadirdir.
Sosyal beceri eğitimi örneğini düşünün. Deneklere bir eğitim egzersizine katılacakları söylenir. Hedefin, denetçiler olarak becerilerini geliştirmek olduğu söylendi. Eğitim alıştırması onlara ne yapmaları gerektiğini söyler ve başarılı eğitmenler onlara nedenini söyler. Bu nedenle, hem reaktif ölçüm hem de reaktif prosedürler olası değildir veya imkansızdır.
Test ve Tedavi Arasındaki Etkileşim
Campbell ve Stanley’nin “test ve tedavi arasındaki etkileşim” dediği şeye burada “reaktif ölçüm” adı verilmiştir. Bu, “reaktif düzenlemeler” ile ilgili önceki paragraflarda ele alındı.
Seçim ve Tedavi Arasındaki Etkileşim
Campbell ve Stanley (1963) tarafından “seçim ve tedavi arasındaki etkileşim” başlığı altında tartışılan sorun, çalışmanın sonuçlarının yanlış yorumlanması sorunu değildir. Yani, “iç geçerlilik” için bir tehdit değildir. Bunun yerine, çalışmanın sonuçlarından yanlış olabileceği, yani “dış geçerlilik” için bir tehdit oluşturabilecek başka bir bağlama genelleme yapmaktan endişe duyuyorlardı.
Söz konusu etkileşim, bir işlemin etkisinin bir ortamdan diğerine farklılık gösterebileceği varsayımını temsil eder. Böyle bir varyasyon varsa, bir ortamdan diğerine genelleme yapan bir deneyci yanlış bir çıkarım yapabilir. Ancak, sonuçlarda ayarlar arasında farklılıklar varsa, bağımsız gruplar tasarımı denek içi tasarımdan daha iyi çalışmayacaktır.
Belirli bir ortamdaki insanlar rastgele kontrol ve deney gruplarına atanırsa, ortalama fark, aynı ortamda bir ön-son çalışma yapılmış gibi olacaktır. Bu nedenle, ortamlar arasında tedavi etkilerindeki çeşitlilik, tek-ayarlı çalışmalar için aynı mantıksal sorunu yaratır, genellikle denekler arası tasarımlar için olduğu gibi denekler arası tasarımlar için tek uygulanabilir çalışmadır.
Çalışmalar arasında sonuçlarda farklılıklar varsa meta-analiz esastır. Bu varyasyon tek bir çalışmada gösterilmez, ancak bu varyasyon bir meta-analizde tespit edilebilir ve tanımlanabilir. Bununla birlikte, bu konunun ayrıntılı olarak ele alınması, etkileşimin tanımlanmasının genellikle kritik olarak tekil çalışmaların istatistiksel gücüne bağlı olduğunu göstermektedir. Bu nedenle meta-analizin dikkate alınması, mümkün olduğunda denek içi tasarımların tercih edilmesi gerektiğini göstermektedir.
Gözlenen d Değerlerinde Sapma
Hedges ve Rosenthal ve Rubin (1982a), Bölüm 6 ve 7’de sunulan d-değeri istatistiğinde hafif bir pozitif yanlılık olduğunu göstermiştir. Yani, hesaplanan d değeri, popülasyon değerinden (δ) ortalama olarak biraz daha büyüktür. Bu yanlılığın boyutu δ (popülasyon değeri) ve N’ye (örnek boyutu) bağlıdır. Bu önyargı genellikle göz ardı edilecek kadar küçüktür.
Örneğin, δ = .70 ve N = 80 ise, sapma .007’dir. İki yere yuvarlanırsa, bu .01 olur, pratik veya teorik önemi olmayan bir önyargı. (Ayrıca, d değeri Bölüm 7’de verilen formüller kullanılarak bir bağıntıya dönüştürülürse, bağıntıdaki yanlılık yalnızca yarısı kadar büyük olacaktır.) Sapma, yalnızca örnek boyutu oldukça büyük olduğunda endişe yaratacak kadar büyüktür.
Green ve Hall (1984), bir çalışma için örneklem büyüklüğü 10 veya daha az olmadıkça yanlılığın göz ardı edilebileceğini belirtmişlerdir. Önceki örnekte, N 80 yerine 20 olsaydı, hesaplanan d değeri ortalama olarak yaklaşık .03 fazla büyük olurdu, yani yaklaşık %4’lük bir yukarı yönlü sapma. Hem Hedges (1981) hem de Rosenthal ve Rubin (1982a), bu önyargı için yaklaşık düzeltmeler sağlayan formüller sundu.
Bölüm 6 ve 7’de de böyle bir düzeltme sunuyoruz ve bu düzeltme, d değerlerinin meta-analizi için bilgisayar programlarımızda yerleşiktir. Çalışma örneklem büyüklükleri çok küçükse, bu düzeltmeler kullanılmalıdır. Aksi takdirde, bu küçük önyargı güvenle göz ardı edilebilir. Bu yukarı yönlü sapma, bağımlı değişkendeki ölçüm hatasının yarattığı her zaman mevcut olan aşağı yönlü sapmaya kıyasla küçüktür.
Örneğin, δ = .70 olan örneğimizde bağımlı değişkenin ölçüsünün güvenilirliği .75 olsaydı, o zaman gözlemlenen ortalama d değeri (.75)1/2(.70) = .61 olurdu; o zaman ölçüm hatası için herhangi bir düzeltme yapılmadıysa (çoğunlukla yayınlanmış meta-analizlerdeki durum), negatif sapma .09 olacaktır. Bu, N = 80 olduğunda Hedges (1981) ve Rosenthal ve Rubin (1982a) tarafından tanımlanan .01’lik yukarı yönlü sapmadan 9 kat ve N = 20 olduğunda sapmadan 3 kat daha büyüktür. Bu, yukarı yönlü sapmayı d değerlerine yerleştirir.