Vaka Çalışması : Hassasiyetlerin ve Özgünlüklerin Birleştirilmesi
20 çalışmanın duyarlılıkları ve özgünlükleri sunulmuştur. Grafikten, duyarlılıkların nispeten homojen olduğu (neredeyse tüm güven aralıkları örtüşmektedir) görünürken, özgüllüklerin büyük ölçüde heterojen olduğu açıkça görülmektedir.
En basit analiz, çalışmalar arasında duyarlılık ve özgüllük tahminlerini ayrı ayrı bir araya toplar, ancak yalnızca tanı eşiğinde bir değişiklik yoksa uygundur. Tüm bu çalışmalar endometriyal kalınlıkların 5 mm'lik bir kesim noktası kullandığını iddia etse de, makine kalibrasyonu ve ölçüm tekniğindeki farklılıklar nedeniyle teşhis eşiğinde gözlemlenmeyen varyasyonların ortaya çıkması hala mümkündür.
20 çalışma boyunca duyarlılıklar ve özgüllükler arasındaki korelasyonu hesaplayarak bir eşik etkisini kabaca test edebiliriz. Duyarlılıkların ve özgüllüklerin normal olarak dağılmadığı durumlarda parametrik olmayan bir korelasyon tercih edilir: bu veriler için Spearman's rho'nun istatistiksel olarak anlamlı olmayan (P=0.6) 0·14 olduğu tahmin edilmektedir.
Duyarlılık
Yukarıda verilen formüller kullanılarak, birleştirilmiş duyarlılık ve standart hatası tahminleri bulunur. Ki-kare testi için beklenen minimum frekansların varsayımı karşılanmadığından (çoğu çalışmada yanlış negatif sayısı için beklenen değerler 5'ten az olduğundan), çalışmalar genelinde duyarlılıkların homojenliğini kontrol etmek için bir ki-kare testi kullanmak zordur. ve Fisher'in kesin testinin 220'lik bir tabloda hesaplanması, sayısal olarak önemsiz değildir.
Alternatif olabilirlik oranı testi, 19 serbestlik derecesinde 31.2'lik bir ki-kare değeri verir (P=0.04). Bu resmi olarak istatistiksel olarak anlamlı olsa da, sonuçlar arasındaki heterojenlik derecesi küçüktür ve yirmi çalışmadan yalnızca biri (Dorum) genel değeri kendi güven aralığına dahil etmez.
ROC grafiğindeki yatay çizgi, bu özet tahmine karşılık gelir ve çalışmaların çoğuna makul ölçüde yakındır. Bu nedenle, 0·958'lik genel duyarlılık tahmini makul bir özet gibi görünmektedir ve testin endometriyal kanseri saptamada kullanım için uygun şekilde yüksek duyarlılığa sahip olduğu sonucuna varabiliriz.
Özgüllük
Duyarlılıklarla aynı hesaplamaları takiben, ortalama özgüllüğün genel tahmini (%95 GA) 0.608'dir (0.590 ila 0.626). Bununla birlikte, bir ki-kare testi (2=201, df=19, P<0,001)'de gözlemlenen heterojenliğin istatistiksel önemini doğrular.
Çalışmalar arasındaki farklılıklardan kaynaklanan ekstra belirsizlik, aşırı yayılımı hesaba katan bir lojistik modelin kullanılmasıyla dahil edilebilir. Bu, (0.549 ila 0.664) güven aralığı üretir; Orijinal Tahmin.
Çalışmalar arasındaki büyük heterojenlik, birçok çalışmanın sonuçlarının özet özgüllüğünden biraz uzakta olmasıyla açıkça görülmektedir. Böyle bir durumda, özgüllükleri bir araya toplamak muhtemelen hiç uygun değildir ve özgüllüklerin değiştiği görülen [0·267 ila 0·875] aralığını tanımlayarak heterojenliği not etmek en iyisi olabilir.
Olasılık Oranlarının Havuzlanması
Olabilirlik oranları, olasılık oranlarıdır ve bir meta-analizde risk oranları olarak ele alınabilir (ancak RCT'lerde olduğu gibi satırlar arasında değil, 22 tablosunun sütunları arasında hesaplanmıştır). Olabilirlik oranlarının ağırlıklı ortalaması, standart Mantel-Haenszel veya ana hatlarıyla belirtilen risk oranlarının meta-analizinin ters varyans yöntemleri kullanılarak hesaplanabilir. Olabilirlik oranlarının heterojenliği, istatistikleri bir meta-analizde birleştirdikten sonra standart heterojenlik testleri ile de test edilebilir.
Duyarlılık analizi örneği
Duyarlılık analizi nasıl yapılır
Yöneylem Araştırması duyarlılık analizi
Duyarlılık analizi hesaplayıcı
Duyarlılık analizi Grafik yöntem
Duyarlılık Analizi yorumlama
DUYARLILIK ANALİZİ Soruları
Duyarlılık analizi çözümlü sorular
Vaka çalışması: Olasılık oranlarının birleştirilmesi
Olasılık oranları, duyarlılık ve özgüllüğe ilişkin özet tahminlerden veya meta-analizin risk oranı yöntemleri kullanılarak her çalışma için hesaplanan olasılık oranlarının havuzlanmasıyla tahmin edilebilir (bkz. Bölüm 15). Havuzlama yöntemi, çalışmalar arasındaki olabilirlik oranlarındaki heterojenliğin araştırılmasına izin verdiği ve yukarıda hesaplanan güvenilmez özgüllük tahminini kullanmadığı için tercih edilir.
Mantel-Haenszel yöntemini kullanarak pozitif olabilirlik oranlarını birleştirmek, 2.38 (2.26 ila 2.51) genel bir tahmin (%95 GA) verir. Ancak, özgüllüklerde olduğu gibi, çalışmalar arasında pozitif olabilirlik oranlarında önemli bir heterojenlik vardır (Cochran's Q=187, df=19, P<0.001) ve 2·38 tahmini, 8'in %95 güven aralığının dışındadır. 20 çalışma.
Aradaki çalışma varyasyonu, DerSimonian ve Laird rastgele etkiler modeli kullanılarak dahil edilebilir (pozitif LR (%95 GA): 2,54 (2.16 ila 2·98)) ancak yine bu tür heterojen sonuçları birleştirmenin mantıklı olup olmadığı tartışmalıdır. Özet pozitif olabilirlik oranının, çalışma değerlerinin çoğundan biraz uzakta olduğu oldukça açıktır.
Bununla birlikte, olabilirlik oranının resmi bir havuzlanmış tahmininin sunulup sunulmadığına bakılmaksızın, çalışmalar genelindeki pozitif olabilirlik oranlarının değerlerinden (hepsi 10'un oldukça altındadır) pozitif bir test sonucunun varlığına dair ikna edici kanıt sağlayamayacağı açıktır.
Negatif olabilirlik oranları, önemli bir heterojenlik kanıtı göstermez (Cochran's Q=27.9, df=19, P=0.09), Mantel-Haenszel havuzlanmış tahmini (%95 GA) 0.09 (0.06 ila 0) ·13) ve ROC grafiğindeki özet satırı, çalışma sonuçlarının çoğuna yakındır. Bu bulgu, 5 mm'den daha küçük bir EVUS ölçümünün endometriyal kanseri ekarte eden makul derecede ikna edici kanıtlar sağlayabileceğini gösterdiği için çok faydalıdır.
EVUS'si 5 mm'nin altında olan bir kadında endometriyal kanser olasılığı, postmenopozal vajinal kanama ile başvuran kadınlarda endometriyal kanserin lokal prevalansına bağlıdır. 20 çalışmadaki %13'lük ortalama prevalansı alarak ve Bayes teoremi1,3,11 uygulayarak, EVUS ölçümü <5 mm olan kadınların yalnızca %1,3'ünün endometriyal kansere sahip olacağını aşağıdaki gibi tahmin edebiliriz.
Belirli klinik örnek için, olabilirlik oranlarının havuzlanması, muhtemelen bu çalışmalardan elde edilen en önemli klinik özet bilgileri sağlar.
Vaka çalışması : Tanısal olasılık oranlarını birleştirmek
Tanısal eşikten bağımsız olarak sabit tanı olasılık oranlarını varsayan bir model, duyarlılığın özgüllüğe eşit olduğu azalan bir çapraz çizgi etrafında simetrik olan bir özet ROC eğrisine karşılık gelir. 20 çalışmanın tümünün duyarlılıkları özgüllüklerden daha yüksek olduğundan, 20 çalışmanın tümünün sonuçları ROC grafiğinde bu diyagonal çizginin üzerindedir. Bu durumda simetrik bir özet ROC çizgisi savunulabilir.
Odds oranlarını birleştirmek için Mantel-Haenszel yöntemini kullanarak bir özet tanısal olasılık oranının hesaplanması, 28·0 (18·2 ila 43·2) bir tahmin (%95 GA) verir. Büyük bir heterojenlik kanıtı yoktu (Cochran's Q=22.0, df=19, P=0.3), bu nedenle bu tanısal olasılık oranı, çalışmalar arasında tanısal performansın makul ölçüde tutarlı bir özet ölçüsü gibi görünmektedir.
Tanısal olasılık oranı, rakamlara bakılarak (duyarlılık=0.95 ve özgüllük=0.60 ise DOR'nin 28.5 olacağını gösterir) veya özetin grafiğini çizerek duyarlılıklar ve özgüllükler açısından yorumlanabilir.
Bununla birlikte, duyarlılık ve özgüllüğün benzersiz bir ortak özet tahmini yoktur: yalnızca diğerinin değerine bağlı olarak bir değerin özet tahminini elde etmek mümkündür.
Bir Ürünün Varyansı: Genel Durum
Önceki türetme, hemen herhangi bir sayıda faktöre uzanır. Örneğin, dört değişkenin çarpımının varyansı vardır.
Yani, her terimde karesi alınmış bir ortalama için bir varyans ikamesi vardır. Kare dörtlü çarpım A2 = [abcd]2 çarpanlara ayrılırsa, bu tür her bir ikame, varyasyon katsayısının karesi ile temsil edilir.
Tam yapıt dağılımı meta-analizi için formüller ilk olarak “geçerlilik genelleştirme” başlığı altında personel seçimi araştırmasının özel alanında geliştirilmiştir. Ancak, personel seçiminde araştırmada belirli bir tuhaflık vardır; özellikle, Bölüm 3’te belirtildiği ve bu bölümde daha sonra açıklandığı gibi, tahmin edici (bağımsız) değişkendeki ölçüm hatasını düzeltmemek için nedenler vardır.
Sonuç olarak, geçerlilik genellemesinden elde edilen formüller, genel olarak sosyal ve davranış bilimlerindeki araştırma entegrasyonunun daha geniş genel bağlamında faydalı olacak şekilde değiştirilmelidir. Burada üç formül seti geliştireceğiz. İlk olarak, en yaygın durumu ele alacağız: x ve y değişkenlerinin her ikisinde de ölçüm hatası, ancak aralıkta kısıtlama yok. Daha sonra, bu eserlerin üçünün de düzeltilmesi gereken durum için bir dizi formül geliştireceğiz.
Bu formüller yalnızca doğrudan menzil kısıtlaması için geçerlidir. Daha önce belirtildiği gibi, menzil kısıtlaması dolaylı olduğunda farklı prosedürler kullanılmalıdır. Bu bölümün ilerleyen kısımlarında, aralık kısıtlaması dolaylı olduğunda kullanılacak yöntemleri sunacağız. Ayrıca literatürde kullanılmış olan geçerlik genelleme formüllerini de sunacağız.
Bu yöntemlerin çoğu, yalnızca aralık kısıtlaması doğrudan olduğunda uygundur ve aralık kısıtlamasının dolaylı olduğu verilerle kullanıldığında ortalama geçerlilikleri olduğundan az tahmin edecek ve SDρ değerini olduğundan fazla tahmin edecektir. Aslında, yayınlanmış geçerlilik genelleme çalışmalarının çoğunda durum böyle olmuştur.
Çalışılmış Bir Örnek: Ölçüm Hatası
Sosyal bilimlerdeki değişkenler genellikle sadece zayıf ölçülür. Bu nedenle, ölçüm hatasını ortadan kaldırmak için sonuçlar düzeltilmelidir. Belirli bir alandaki çalışmaları zayıflatan tek artefaktın ölçüm hatası olduğunu varsayalım. (Veya, ne yazık ki, daha gerçekçi olarak, bunun, üzerinde bilginin mevcut olduğu tek eser olduğunu varsayın.)
Örgütsel bağlılık ve iş tatmini arasındaki ilişkiye ilişkin varsayımsal bir dizi çalışmanın meta-analizi için temel hesaplamaları sunmaktadır. Sekiz çalışma için temel bulguları ve artefakt bilgilerini sunar. Çalışmalar üç grupta listelenmiştir.
İlk çalışma çifti, örgütsel bağlılık veya iş tatmini ile ilgili hiçbir korelasyonel veri sunmaz, ancak bu çalışmalar örgütsel bağlılık hakkında güvenilirlik verileri içerir. İlki, Ermine’nin kendi örgütsel bağlılık ölçüsünü sunduğu klasik çalışmadır. İkinci çalışma, Ferret’in “Ermine’den anahtar öğeleri” kullandığı ve ardından bağlılığı diğer değişkenlerle (iş tatmini dahil değil) ilişkilendirdiği çalışmadır.
Sistematik hata ne demek
Bağıl hata hesaplayıcı
Sistematik hata örnekleri
Gerçek hata formülü
Gerçek hata nedir
Tesadüfi hata örnekleri
Sistematik hata Türleri
Ortalama hata formülü
İkinci çalışma çifti, yalnızca iş tatmini ölçeklerine ilişkin güvenilirlik bilgilerini içerir. Son olarak, son dört çalışma sadece korelasyonel bilgi içerir (her çalışma madde verisine sahip olsa da ve bu nedenle, o çalışma için en azından katsayı alfa güvenirlik katsayılarını hesaplamış olabilir). Korelasyonlardan ikisinin istatistiksel olarak anlamlı, ikisinin ise önemsiz olduğunu görüyoruz.
Meta-analiz çalışma sayfasını sunar. a sütunu, ilk düzeltilebilir artifakt için zayıflama faktörünü, yani bağımsız değişkenin güvenilirliğinin karekökünü sunar. b sütunu, ikinci düzeltilebilir artefakt için zayıflama faktörünü, yani bağımlı değişkenin güvenilirliğinin karekökünü sunar. Tablonun alt kısmında, her bir girişin ortalaması ve standart sapması verilmiştir.
Bu örnekleme hatası analizi, çalışmalar arasındaki korelasyonlarda çok az farklılık olduğunu göstermektedir. %95 güvenilirlik aralığı .13 ≤ ρxy ≤ .23’tür. Böylece istatistiksel anlamlılık bulamayan iki çalışma Tip II hatalara neden olmaktadır.
Popülasyon korelasyonlarının standart sapması bu nedenle .000610’un karekökü veya SDρ = .0247 olarak tahmin edilir. Yuvarlak sayılarda, gerçek çalışma korelasyonlarının ortalama .30 ve standart sapmanın .025 olduğu tahmin edilmektedir. Etki büyüklüğü korelasyonları normal bir dağılıma sahipse, %95 güvenilirlik aralığıdır.
Burada sadece iki çalışma yapaylığının düzeltildiğini hatırlamak önemlidir: bağımsız ve bağımlı değişkenlerdeki ölçüm hatası. Bu nedenle, gerçek korelasyonlara atfedilen artık varyasyon, kusurlu yapı geçerliliği veya kötü veriler vb. gibi düzeltilmemiş eserler nedeniyle varyasyon içerir. Bu nedenle, gerçek standart sapma, .025 nominal tahminden daha az olabilir.
Bu örnekte artefaktların etkisini ele alalım. Örnekleme hatasının ortalama korelasyon üzerindeki etkisinin ihmal edilebilir olduğu varsayılmıştır (ancak bu sadece 272’lik bir toplam örneklem büyüklüğü ile gerçekten doğru olmayacaktır). Bununla birlikte, örnekleme hatasının çalışmalar arasındaki varyans üzerindeki etkisi çok büyüktür. Örnek korelasyonlarının varyansı .01465 olup, örnekleme hatası .013974, güvenirlik varyasyonundan kaynaklanan varyans .000137 ve “başka” .000539’dur. Diğer bir deyişle, çalışmalar arasındaki korelasyonlardaki varyansın %95’i örnekleme hatasından, %1’i güvenilirlikteki farklılıktan ve %4’ü belirtilmemiş diğer belirleyicilerden kaynaklanmaktadır.
Güvenilirliklerdeki varyasyon, gözlemlenebilir korelasyonlardaki varyasyonun sadece %1’ine neden olur, ancak ölçüm hatasının ortalama korelasyon üzerindeki etkisi çok büyüktür. Ölçüm hatası, ortalama korelasyonun .30’dan .18’e düşmesine neden oldu, bu da %40’lık bir azalmadır.
Çalışılmış Bir Örnek: Güvenilmezlik ve Doğrudan Menzil Kısıtlaması
Üç yapay nesne hakkında yapay bilgimiz olduğunu varsayalım: bağımsız değişkende ölçüm hatası, bağımlı değişkende ölçüm hatası ve bağımsız değişkende doğrudan aralık kısıtlaması gerekir.
Varsayımsal çalışma için hem artifakt bilgilerini ham formda hem de her bir artefakt için hesaplanan zayıflama faktörlerini sunar. Tablo 4.2’deki örnek, referans popülasyondaki iki değişken üzerindeki gerçek puanlar arasındaki popülasyon korelasyonunun her zaman ρ = .60 olduğu varsayılarak oluşturulmuştur. İlk beş sütun, 16 varsayımsal çalışmadan çıkarılan verilerdir. Son üç sütun, sırasıyla rXXa , rYYa ve ux değerlerinden hesaplanan a, b ve c değerleridir.
Tahmini standart sapma bu nedenle 0’dır. Bu örnek gerçek bir değişiklik olmadığı varsayılarak oluşturulduğu için standart sapma 0 olmalıdır ve öyledir. Böylece, nihai meta-analiz sonuçları ρ ̄ = .59 ve SDρ = 0’dır. Bu sonuçlar, gerçek değerlerle (verileri oluşturmak için kullanılan değerler) hemen hemen aynıdır: ρ ̄ = .60 ve SDρ = 0. fark, artefakt dağılımı meta-analizinin kesin bir hesaplamadan ziyade bir tahmin olduğunu gösterir.