İç ve Dış Geçerliliğe Yönelik Tehditler – Meta-Analiz Ödevleri – Meta-Analiz Alanında Tez Yaptırma – Meta-Analiz Tez Yaptırma Ücretleri
İç ve Dış Geçerliliğe Yönelik Tehditler Bağımsız grup tasarımının düşük gücü gibi konuları düşünmeden denek içi tasarımı reddeden birçok kişi var. Bu reddetme doğası gereği felsefidir ve öncelikle Campbell ve Stanley'nin haklı olarak ünlü monografisinin yanlış okunmasından kaynaklanır. Bu monografın Tablo 1'inde, denek içi tasarım için yedi kaynak da dahil olmak üzere çeşitli tasarımlar için "geçersizlik kaynakları" listelenmiştir. Ancak, tablonun altında bunların yalnızca geçerliliğe yönelik potansiyel tehditler olduğu ve herhangi bir çalışma için geçerli olmayabilecekleri hatırlatılır. Birçoğu, “geçerliliğe yönelik potansiyel tehditler” ifadesindeki “potansiyel” sıfatını çıkarmış ve bu nedenle, denek içi tasarımın “geçerliliğe yönelik tehditler” olduğunu belirtmektedir. Daha da kötüsü, bazı araştırmacılar "tehdit" kelimesini kaybettiler ve Campbell ve Stanley'i denek içi tasarımın "iç ve dış geçerliliği olmadığı için temelde kusurlu" olduğunu söylediler. Campbell ve Stanley'nin yazdıklarından daha fazla hiçbir şey olamazdı ve bunu kendileri birkaç kez söylediler. Yine de, özne içi tasarım konusu, Campbell ve Stanley'den denek içi tasarımın kontrolsüz iç ve dış geçersizlik kaynaklarıyla dolu olduğunu belirtmeden bir grupta ortaya çıkamaz. Campbell ve Stanley (1963), geçerliliğe yönelik potansiyel tehditleri, gözlemlenen bir etkiyi açıklamak için olası rakip teorilerin kaynak fikirleri olarak gördüler. Bununla birlikte, rakip hipotez için, orijinal hipotez için kullanılanla aynı türden dikkatlice belgelenmiş kanıtlarla bir tehdidin gerçekleştirildiği iddiasının tartışılması gerektiğini şart koştular. Örneğin, 7. sayfada, "İnandırıcı bir rakip hipotez olmak için, incelenen gruptaki öğrencilerin çoğunun böyle bir olay yaşamış olması gerekir. Belirsiz varsayımsal olasılıklarla değil, yalnızca makul tehditlerle ilgilendiklerini ve argümanlarını "konu içi tasarım, kontrol edilememesi nedeniyle kusurludur" gibi soyut bir argüman olarak değil, belirli bir somut olay açısından ortaya koyduklarını unutmayın.  Bu bölümün amacı Campbell ve Stanley'i eleştirmek değil, araştırmacılara Campbell ve Stanley'nin gerçekte ne dediklerini hatırlatmaktır. Amaçları şuydu: Denek içi bir tasarım yapmayı planlıyorsanız, bu çalışma için geçerli olup olmadığını görmek için bu olası sorunları kontrol edin. Eğer öyleyse, bu sorunu ortadan kaldırmak için çalışma prosedürlerini değiştirin (veya çalışma tasarımından vazgeçin). Dış geçerlilik nedir Dış Geçerliği etkileyen Faktörler İç ve Dış geçerlilik nedir İç geçerlilik nedir İç geçerlilik tehditleri Dış GEÇERLİLİK Nedir örnek İç ve Dış geçerlilik örnekleri İç geçerlilik örnekleri Sık görülen yanlış sonuç, kontrol listelerinin her denek içi tasarım için geçerli olan bir problem ifadesi olduğudur. Bir dizi örnek sunarak bu yanlış inançları ortadan kaldırmaya çalışacağız. Bir yandan, örgütsel psikolojide bir ön-sonrası çalışmanın tipik bir örneğini alacağız ve bu çalışma için Campbell-Stanley tehditlerinden hiçbirinin gerçekte var olmadığını göstereceğiz. Öte yandan, her bir tehdit için o tehdidin var olacağı bir çalışmadan alıntı yapacağız. Böylece, Campbell ve Stanley'nin asıl içeriğine sadık kalacağız: Tasarıma ilişkin bir iddianamedeki suçlamaların bir listesi değil, olası sorunların bir kontrol listesidir. Bazıları, belirli bir örneğin Campbell ve Stanley tarafından listelenen tehditlerden arınmış olduğunu göstermenin denek içi tasarımı kurtarmadığını iddia edebilir. Sadece nadir bir çalışmanın hatasız olacağını ve bu nedenle böyle bir tasarımı ilk etapta düşünmenin zaman kaybı olduğunu söylerlerdi. Bir örnekten çıkarılabilecek mantıksal sonuçların sınırlı olduğu doğrudur. Tüm denek içi çalışmalar Campbell-Stanley listesi tarafından dışlanmaz. Ancak, bu argümandaki olasılık uygulamasının yanlış olduğuna inanıyoruz. Deneyimlerimize göre, Campbell-Stanley listesindeki her tehdidin olasılığı aslında çok düşüktür. Aslında denek içi tasarımın kullanılamadığı bir çalışmaya çok az rastladık. Kombine deneyimimiz, bu alanda 60 yıllık bilimsel çalışmayı kapsamaktadır. Bu nedenle, görüşümüzün sınırlı deneyime dayandığına inanmıyoruz. Campbell ve Stanley, denek içi tasarımın iç geçerliliğine yönelik aşağıdaki potansiyel tehditleri sıraladı: tarih, olgunlaşma, test etme, enstrümantasyon, gerileme (bundan sonra bir soru işareti koydular) ve bu faktörlerin etkileşimleri. Denek içi tasarımın dış geçerliliğine yönelik aşağıdaki potansiyel tehditleri sıraladılar: test ve tedavinin etkileşimi, seçim ve tedavinin etkileşimi ve reaktif düzenlemeler (soru işaretli). Bir özne içi tasarımın gerçekten de her türden bir kusurdan zarar görebileceğini örneklerle göstereceğiz. Bununla birlikte, bu potansiyel sorunlardan hiçbirinden muzdarip olmayan bir çalışma olabileceğini de örneklerle göstereceğiz. Campbell-Stanley listesi, varsayılacak sorunların bir listesi değil, dikkate alınması gereken potansiyel sorunların bir listesi olarak tasarlanmıştır. Psikoloji literatürünün, denek içi tasarımın en yaygın olarak kullanıldığı kısmı, müdahalelerin saha çalışmaları, yani program değerlendirmesidir. Bu tür çalışmaların çoğunda denekler, programın hedeflerini anlayan ve bir müdahalenin parçası olduklarını bilen yetişkinlerdir. Ancak çoğu müdahalede bağımlı değişkenin müdahale olmadan değiştirilmesi çok zor olan bir davranış veya olay olduğu da doğrudur. Çalışmanın bu yönleri genellikle geçerliliğe yönelik tüm Campbell-Stanley potansiyel tehditlerini dışlar. Bir yönetim eğitim programı düşünün. Süpervizörlere, aktif dinleme gibi belirli becerilerin süpervizör sorunlarına nasıl uygulanacağını açıklayan bir eğitim deneyimi verilecektir. Bağımlı değişken, süpervizörün bir üst amiri olan yönetici tarafından süpervizörün performans derecesidir. Ön tasarım, eğitim deneyiminden önceki ve sonraki performans derecelendirmelerini karşılaştırır. Tarih Deneyci, bağımlı değişkendeki değişikliği müdahalenin neden olduğu şeklinde yorumlar. Ama belki de, aslında iyileşmeye neden olan, çalışmanın kapsamı dışında eşzamanlı bir olay vardı. Örneğin, bir grup küçük araba satıcısına hedef belirlemeyi tanıttığımızı varsayalım. Test aralığı sırasında, Orta Doğu'da alıcıları daha önce satın aldıkları büyük arabalardan daha küçük arabalara çeken büyük bir petrol fiyatı artışı var. Satışlardaki artış, hedef belirleme müdahalesinden ziyade petrol fiyatlarındaki artıştan kaynaklanabilir. Böylece tarihin araştırma sonucunun yorumunu yanlış yaptığı bir çalışma olabilir. Önemli bağımlı değişkenlerde büyük bir değişiklik yaratan doğal olaylar ne sıklıkla vardır? Böyle bir olay, iyi bildiği bir alanda çalışan deneyimli bir bilimsel araştırmacı tarafından ne sıklıkla gözden kaçırılır? Beceri eğitimi çalışmasını düşünün. Müdahale ile bile denetleyici sosyal davranışta değişiklik üretmenin zor olduğunu bulan uzun bir denetleyici davranış çalışması geçmişi vardır. Deneycinin farkında olmayacağı hangi gerçek olay bu süpervizörleri değiştirebilir?

SÜREKLİ VERİ – Meta-Analiz Ödevleri – Meta-Analiz Alanında Tez Yaptırma – Meta-Analiz Tez Yaptırma Ücretleri

GÜVEN ARALIKLARI VE TAHMİN ARALIKLARI

Geleneksel olarak, bir orman grafiğindeki özet satırı, ortalama etki boyutunu (elmas merkezi) ve güven aralığını (elmas genişliği) göstermek için bir elmas kullanır. Şimdi, tahmin aralığının görsel bir göstergesini eklemek istiyoruz ve bunu elmasın her iki ucuna yatay bir çizgi ekleyerek yapıyoruz.

Grafikteki meta-analiz satırı artık iki farklı bilgi öğesini gösteriyor. İlk olarak, vakaların %95’inde ortalama etki boyutu elmasın içine düşer. İkincisi, vakaların %95’inde yeni bir çalışmadaki gerçek etki yatay çizgilerin içine düşecektir. Bu iki maddenin iki farklı konuyu ele aldığını anlamak önemlidir. Güven aralığı, ortalamanın doğruluğunu ölçerken, tahmin aralığı, etki büyüklüklerinin gerçek dağılımını ele alır ve iki ölçü birbirinin yerine geçemez.

Her zaman olduğu gibi, etkileri nasıl yorumlamayı seçtiğimiz hedeflerimize bağlıdır. Boş etkiye odaklanmak isteyebiliriz. Tam elmas sıfırı aşarsa, ortalama etki boyutunun sıfırı aştığından %95 eminiz. Tam tahmin aralığı sıfırı aşarsa, yeni çalışmaların %95’inde gerçek etki sıfırı aşacaktır. Veya klinik olarak önemli bir etkiye odaklanmak isteyebiliriz (örneğin, 0.20’lik standart bir ortalama fark). Tam elmas 0,20’yi aşarsa, ortalama etki boyutunun 0,20’yi geçtiğinden %95 eminiz. Tam tahmin aralığı 0.20’yi aşarsa, yeni çalışmaların %95’indeki gerçek etki 0.20’yi aşacaktır.

GÜVEN ARALIĞININ ÖNGÖRME ARALIĞI İLE KARŞILAŞTIRILMASI

Daha önce, altı çalışma ile bir meta-analiz için tahmin aralığının hesaplanmasını gösterdik. Meta-analizin ilk altıdakiyle aynı modele sahip daha fazla çalışmayı (24, 60 veya 1002) içerdiğini varsayalım. Başka bir deyişle, aynı çalışma içi hataya ve aynı dağılım modeline sahibiz, ancak ortalama etki büyüklüğünün ve gerçek çalışmalar arası dağılımın daha kesin bir tahminine sahibiz.

Bu dört varsayımsal analiz için güven aralığının ve tahmin aralığının ne olacağını gösteriyoruz. Burada gösterilen belirli model bu analize özgü olmakla birlikte, genel eğilim herhangi bir analiz için geçerli olacaktır.

Altı çalışma ile güven aralığı (elmas) oldukça geniştir, ancak 60 çalışma ile genişliği yaklaşık yarı yarıya azalır ve 1002 çalışma ile genişliği önemsizdir. Bu, bir güven aralığı formülünden çıkar.

Güven aralığı yalnızca hatayı (VM*) yansıtır ve bu nedenle, çalışma sayısı 6’dan 1002’ye çıktıkça güven aralığı genişliğinde tutarlı bir düşüş görüyoruz. Sonsuz sayıda çalışma ile hata sıfıra yaklaşacaktır ve dolayısıyla genişlik güven aralığı sıfıra yaklaşır.

Buna karşılık, çalışma sayısı 6’dan 24’e çıktıkça tahmin aralığının (çizginin) genişliği keskin bir şekilde düşer, ancak bu noktanın ötesinde neredeyse hiçbir değişiklik göstermez. Bu, bir tahmin aralığı formülünden çıkar.

Aralık, çalışma sayısına bağlı olan ortalamanın (VM*) tahmin edilmesindeki hatayı temel alır. Aralık ayrıca çalışmaların sayısından etkilenmeyen çalışmaların varyansına, T 2’ye dayanmaktadır. Bu örnekte, çalışma sayısı 6’dan 24’e çıktıkça VM* azalır ve dolayısıyla aralık daralır. Bu noktanın ötesinde VM*’deki düşüş önemsizdir (ve T2 sabit kalır), bu nedenle tahmin aralığı çok az değişiklik gösterir. Sonsuz sayıda etütle, aralık 􏰀 artı/eksi 1,96 􏰃’ye yaklaşacaktır.


ÖZET NOKTALAR

  • Rastgele etkiler analizi için hem ortalama etki boyutunu hem de gerçek etkilerin ortalama hakkında nasıl dağıldığını bilmek istiyoruz.
  • Ortalamanın kesinliği, güven aralığı ile ele alınır. Güven aralığı yalnızca ortalamanın tahmin hatasını yansıttığından, sonsuz sayıda çalışma ile genişliği sıfıra yaklaşacaktır.
  • Gerçek etki büyüklüklerinin dağılımı, tahmin aralığı tarafından ele alınmaktadır. Tahmin aralığı, hatanın yanı sıra gerçek dağılımı da içerdiğinden, sonsuz sayıda çalışma ile gerçek etki büyüklüklerinin gerçek dağılımına yaklaşacaktır.
  • Bir orman grafiğindeki özet etki, geleneksel olarak güven aralığına karşılık gelen bir elmas ile temsil edilir.
  • Rastgele etki analizleri için bunu hem güven aralığını hem de tahmin aralığını gösterecek şekilde değiştirebiliriz.

SÜREKLİ VERİ İÇİN ÇALIŞAN ÖRNEĞİ

87. sayfada, her etüt için etki büyüklüğü ve varyansının nasıl hesaplanacağını gösterdik. İşte o noktadan hareket ediyoruz. df55 ile Q512.003 için p değeri 0.035’tir. Excel’de, 5KKİDAĞ(12.003,5) işlevi 0,035 değerini döndürür. İstatistiksel anlamlılık kriteri olarak 0,10 veya 0,05 kullanıyorsak, tüm çalışmaların ortak bir etki büyüklüğünü paylaştığı sıfır hipotezini reddeder ve gerçek etkinin gerçek etki olmadığı alternatifini kabul ederiz.

df55 ile Q510.551 için p değeri 0.0610’dur. Excel’de, 5KKİDAĞ(10.551,5) işlevi 0,0610 değerini döndürür. İstatistiksel anlamlılık kriteri olarak 0.10 kullanıyorsak, tüm çalışmaların ortak bir etki büyüklüğünü paylaştığı sıfır hipotezini reddeder ve gerçek etkinin tüm çalışmalarda aynı olmadığı alternatifini kabul ederiz.

Kriter olarak 0,05 kullanıyorsak, sıfırı reddetmek için yeterli kanıtımız olmazdı (ancak etkilerin homojen olduğu sonucuna varmazdık, çünkü anlamsızdır, p değeri, yetersiz istatistiksel güce bağlı olabilir).

Gelecekteki bir çalışmada gerçek log olasılık oranı için %95 tahmin aralığı elde etmek için, rastgele etkiler ağırlıklı ortalamayı ve bunun (14.3) ve (14.4), M* 5 􏰈0.5663 ve VM* 5 0.0570’de hesaplanan varyansını kullanırız ve (17.7) ve (17.8)’den hesaplayın.

df55 ile Q536.1437 için p değeri 0.0001’den azdır. Excel’de, 5KİŞİDAĞ(36.1437,5) işlevi < 0.0001 değerini döndürür. İstatistiksel anlamlılık kriteri olarak 0,10 veya 0,05 kullanıyorsak, tüm çalışmaların ortak bir etki büyüklüğünü paylaştığı sıfır hipotezini reddeder ve gerçek etkinin tüm çalışmalarda aynı olmadığı alternatifini kabul ederiz.

Gelecekteki bir çalışmada gerçek Fisher’s z için %95 tahmin aralığı elde etmek için, rastgele etkiler ağırlıklı ortalamayı ve bunun (14.5) ve (14.6)’da hesaplanan varyansını, M* 5 0.5328 ve VM* 5 0.0168’i kullanır ve hesaplarız.

ÖZET NOKTALAR

  • Bu bölüm, sabit etki ve rastgele etki modelleri kullanılarak özet etkinin nasıl hesaplanacağını gösteren çalışılmış örnekleri içerir.
  • Standartlaştırılmış ortalama farkı için doğrudan efekt boyutlarıyla çalışıyoruz.
  • Oranlar için log dönüştürülmüş verilerle çalışıyoruz.
  • Korelasyonlar için Fisher’ın z dönüştürülmüş verileriyle çalışıyoruz.
  • Bu çalışılmış örnekler, kitabın web sitesinde Excel dosyaları olarak mevcuttur.