İç ve Dış Geçerliliğe Yönelik Tehditler
Bağımsız grup tasarımının düşük gücü gibi konuları düşünmeden denek içi tasarımı reddeden birçok kişi var. Bu reddetme doğası gereği felsefidir ve öncelikle Campbell ve Stanley'nin haklı olarak ünlü monografisinin yanlış okunmasından kaynaklanır.
Bu monografın Tablo 1'inde, denek içi tasarım için yedi kaynak da dahil olmak üzere çeşitli tasarımlar için "geçersizlik kaynakları" listelenmiştir. Ancak, tablonun altında bunların yalnızca geçerliliğe yönelik potansiyel tehditler olduğu ve herhangi bir çalışma için geçerli olmayabilecekleri hatırlatılır. Birçoğu, “geçerliliğe yönelik potansiyel tehditler” ifadesindeki “potansiyel” sıfatını çıkarmış ve bu nedenle, denek içi tasarımın “geçerliliğe yönelik tehditler” olduğunu belirtmektedir.
Daha da kötüsü, bazı araştırmacılar "tehdit" kelimesini kaybettiler ve Campbell ve Stanley'i denek içi tasarımın "iç ve dış geçerliliği olmadığı için temelde kusurlu" olduğunu söylediler. Campbell ve Stanley'nin yazdıklarından daha fazla hiçbir şey olamazdı ve bunu kendileri birkaç kez söylediler. Yine de, özne içi tasarım konusu, Campbell ve Stanley'den denek içi tasarımın kontrolsüz iç ve dış geçersizlik kaynaklarıyla dolu olduğunu belirtmeden bir grupta ortaya çıkamaz.
Campbell ve Stanley (1963), geçerliliğe yönelik potansiyel tehditleri, gözlemlenen bir etkiyi açıklamak için olası rakip teorilerin kaynak fikirleri olarak gördüler. Bununla birlikte, rakip hipotez için, orijinal hipotez için kullanılanla aynı türden dikkatlice belgelenmiş kanıtlarla bir tehdidin gerçekleştirildiği iddiasının tartışılması gerektiğini şart koştular.
Örneğin, 7. sayfada, "İnandırıcı bir rakip hipotez olmak için, incelenen gruptaki öğrencilerin çoğunun böyle bir olay yaşamış olması gerekir. Belirsiz varsayımsal olasılıklarla değil, yalnızca makul tehditlerle ilgilendiklerini ve argümanlarını "konu içi tasarım, kontrol edilememesi nedeniyle kusurludur" gibi soyut bir argüman olarak değil, belirli bir somut olay açısından ortaya koyduklarını unutmayın.
Bu bölümün amacı Campbell ve Stanley'i eleştirmek değil, araştırmacılara Campbell ve Stanley'nin gerçekte ne dediklerini hatırlatmaktır. Amaçları şuydu: Denek içi bir tasarım yapmayı planlıyorsanız, bu çalışma için geçerli olup olmadığını görmek için bu olası sorunları kontrol edin. Eğer öyleyse, bu sorunu ortadan kaldırmak için çalışma prosedürlerini değiştirin (veya çalışma tasarımından vazgeçin).
Dış geçerlilik nedir
Dış Geçerliği etkileyen Faktörler
İç ve Dış geçerlilik nedir
İç geçerlilik nedir
İç geçerlilik tehditleri
Dış GEÇERLİLİK Nedir örnek
İç ve Dış geçerlilik örnekleri
İç geçerlilik örnekleri
Sık görülen yanlış sonuç, kontrol listelerinin her denek içi tasarım için geçerli olan bir problem ifadesi olduğudur. Bir dizi örnek sunarak bu yanlış inançları ortadan kaldırmaya çalışacağız. Bir yandan, örgütsel psikolojide bir ön-sonrası çalışmanın tipik bir örneğini alacağız ve bu çalışma için Campbell-Stanley tehditlerinden hiçbirinin gerçekte var olmadığını göstereceğiz. Öte yandan, her bir tehdit için o tehdidin var olacağı bir çalışmadan alıntı yapacağız. Böylece, Campbell ve Stanley'nin asıl içeriğine sadık kalacağız: Tasarıma ilişkin bir iddianamedeki suçlamaların bir listesi değil, olası sorunların bir kontrol listesidir.
Bazıları, belirli bir örneğin Campbell ve Stanley tarafından listelenen tehditlerden arınmış olduğunu göstermenin denek içi tasarımı kurtarmadığını iddia edebilir. Sadece nadir bir çalışmanın hatasız olacağını ve bu nedenle böyle bir tasarımı ilk etapta düşünmenin zaman kaybı olduğunu söylerlerdi. Bir örnekten çıkarılabilecek mantıksal sonuçların sınırlı olduğu doğrudur. Tüm denek içi çalışmalar Campbell-Stanley listesi tarafından dışlanmaz.
Ancak, bu argümandaki olasılık uygulamasının yanlış olduğuna inanıyoruz. Deneyimlerimize göre, Campbell-Stanley listesindeki her tehdidin olasılığı aslında çok düşüktür. Aslında denek içi tasarımın kullanılamadığı bir çalışmaya çok az rastladık. Kombine deneyimimiz, bu alanda 60 yıllık bilimsel çalışmayı kapsamaktadır. Bu nedenle, görüşümüzün sınırlı deneyime dayandığına inanmıyoruz.
Campbell ve Stanley, denek içi tasarımın iç geçerliliğine yönelik aşağıdaki potansiyel tehditleri sıraladı: tarih, olgunlaşma, test etme, enstrümantasyon, gerileme (bundan sonra bir soru işareti koydular) ve bu faktörlerin etkileşimleri. Denek içi tasarımın dış geçerliliğine yönelik aşağıdaki potansiyel tehditleri sıraladılar: test ve tedavinin etkileşimi, seçim ve tedavinin etkileşimi ve reaktif düzenlemeler (soru işaretli). Bir özne içi tasarımın gerçekten de her türden bir kusurdan zarar görebileceğini örneklerle göstereceğiz.
Bununla birlikte, bu potansiyel sorunlardan hiçbirinden muzdarip olmayan bir çalışma olabileceğini de örneklerle göstereceğiz. Campbell-Stanley listesi, varsayılacak sorunların bir listesi değil, dikkate alınması gereken potansiyel sorunların bir listesi olarak tasarlanmıştır.
Psikoloji literatürünün, denek içi tasarımın en yaygın olarak kullanıldığı kısmı, müdahalelerin saha çalışmaları, yani program değerlendirmesidir. Bu tür çalışmaların çoğunda denekler, programın hedeflerini anlayan ve bir müdahalenin parçası olduklarını bilen yetişkinlerdir. Ancak çoğu müdahalede bağımlı değişkenin müdahale olmadan değiştirilmesi çok zor olan bir davranış veya olay olduğu da doğrudur. Çalışmanın bu yönleri genellikle geçerliliğe yönelik tüm Campbell-Stanley potansiyel tehditlerini dışlar.
Bir yönetim eğitim programı düşünün. Süpervizörlere, aktif dinleme gibi belirli becerilerin süpervizör sorunlarına nasıl uygulanacağını açıklayan bir eğitim deneyimi verilecektir. Bağımlı değişken, süpervizörün bir üst amiri olan yönetici tarafından süpervizörün performans derecesidir. Ön tasarım, eğitim deneyiminden önceki ve sonraki performans derecelendirmelerini karşılaştırır.
Tarih
Deneyci, bağımlı değişkendeki değişikliği müdahalenin neden olduğu şeklinde yorumlar. Ama belki de, aslında iyileşmeye neden olan, çalışmanın kapsamı dışında eşzamanlı bir olay vardı. Örneğin, bir grup küçük araba satıcısına hedef belirlemeyi tanıttığımızı varsayalım.
Test aralığı sırasında, Orta Doğu'da alıcıları daha önce satın aldıkları büyük arabalardan daha küçük arabalara çeken büyük bir petrol fiyatı artışı var. Satışlardaki artış, hedef belirleme müdahalesinden ziyade petrol fiyatlarındaki artıştan kaynaklanabilir. Böylece tarihin araştırma sonucunun yorumunu yanlış yaptığı bir çalışma olabilir.
Önemli bağımlı değişkenlerde büyük bir değişiklik yaratan doğal olaylar ne sıklıkla vardır? Böyle bir olay, iyi bildiği bir alanda çalışan deneyimli bir bilimsel araştırmacı tarafından ne sıklıkla gözden kaçırılır? Beceri eğitimi çalışmasını düşünün. Müdahale ile bile denetleyici sosyal davranışta değişiklik üretmenin zor olduğunu bulan uzun bir denetleyici davranış çalışması geçmişi vardır. Deneycinin farkında olmayacağı hangi gerçek olay bu süpervizörleri değiştirebilir?
Bağımlı Değişkende Ölçüm Hatası
Sıradan İngilizce, “ölçüm hatası” ifadesini iki anlama sahip olarak yorumlar: sistematik ve sistematik olmayan hata. Sistematik hata, tam olarak neyin amaçlandığını ölçmekten bir sapmadır. Psikometrik teoride buna “kusurlu yapı geçerliliği” denir. Psikometrik teoride, “ölçüm hatası” ifadesi, “rastgele hata” veya “güvenilmezlik” olarak da adlandırılan sistematik olmayan hata için kullanılır. Burada psikometrik terminolojiyi takip edeceğiz. Bu bölüm, sistematik olmayan veya rastgele ölçüm hatasının etkilerini sunacak ve sonraki bir bölüm, kusurlu yapı geçerliliğini kapsayacaktır.
Psikolojide, sistematik olmayan ölçüm hatalarının çoğu, denek yanıtındaki rastgelelikten kaynaklanır. Bu tür bir hatanın ortalaması genellikle 0’dır, yani pozitif veya negatif olma olasılığı eşittir ve gerçek değerle ilişkisizdir. Bağımlı değişkende gözlenen puanı Y olarak yazarsak, gerçek puanı U, ölçüm hatasını e olarak yazarız.
Ortalama hata 0 olduğundan, hataların ortalaması bir hatanın tipik boyutunu tanımlamaz. Bunun yerine, tipik hataların boyutu, ya hata varyansı (ortalama karesel hata) ya da hata standart sapması ile tanımlanır. σe sayısı psikometrik teoride “standart ölçüm hatası” olarak adlandırılır. Ölçüm hatasının pratik etkisi, insanlar arasındaki farkların boyutuna göredir.
İki kişi bağımlı değişkende 10 puan farklılık gösteriyorsa, -1 veya +1 büyüklüğündeki hataların bu kişilerin karşılaştırması üzerinde çok az etkisi olacaktır. Öte yandan, iki denek arasındaki fark 0,5 olsaydı, o zaman -1 veya +1’lik hatalar karşılaştırmayı tamamen karartacaktı. Göreceli ölçüm hatasının bir ölçüsü, yaygın olarak kullanılmasa da, “gürültüden sinyale” oranıdır, σe /σU. Bunun yerine, göreli hatanın daha kullanışlı ölçüsü, gerçek ve gözlemlenen puan arasındaki korelasyon, yani rUY’dir. Tarihsel gelenekle, bu korelasyonun karesine bağımlı değişkenin “güvenilirliği” denir ve rU2Y ile gösterilir.
Güvenilirliği tahmin etmenin farklı yolları, farklı ölçüm hatası kaynaklarını tanımlar ve değerlendirir. Araştırmacının uygun güvenilirlik tahminini kullanması çok önemlidir. Okuyucuya, sunulan bu konunun genişletilmiş tedavisine atıfta bulunuyoruz. Hata standart sapması ve bağımlı değişkenin güvenilirliği ile ilişkilidir.
Güvenilirliğin boyutu, ölçülen süreçteki ölçüm hatasının boyutuna genellikle psikolojide bir yanıttır – ve nihai yanıtı oluşturmak için kullanılan birincil ölçümlerin sayısına genellikle bir ölçekteki öğelerin sayısına – bağlıdır. Yüksek kaliteli ölçüm genellikle rYY = .81 bölgesinde güvenilirlik sağlar.
Orta kalite genellikle rYY = .64 civarındadır. Tek bir yanıta dayalı ölçüm genellikle rYY = .25’ten yüksek olmayan güvenilirliğe sahiptir. Tek bir yanıtın güvenilirliğinin, o yanıtı elde etmenin maliyetiyle belirlenmediğine dikkat edilmelidir. Örneğin, sosyal psikolojideki eşitlik çalışmalarında denekler, ölçüt hareketinden önce bir saat kadar zaman harcayabilir.
Ancak, bağımlı değişkenin tek ölçümü tek bir yanıttır: ortağa verilen para miktarı. Bu tek yanıtın güvenilirliği, o yanıt ile rastgele seçilmiş başka bir günde verilecek yanıt arasındaki korelasyondur. Tek yanıtların güvenilirliği nadiren rYY = .25’ten daha yüksektir.
Güvenilirliğin boyutu, hem ölçme sürecindeki hatanın boyutuna hem de bağımlı değişken üzerindeki bireysel farklılıkların boyutuna bağlıdır. Örneğin, Nicol ve Hunter (1973), kutuplaşmış “hukuk ve düzen” konusuna yönelik tutumları ölçen .90 güvenirliğe sahip aynı semantik diferansiyel ölçeğin, “kirlilik” konusuna yönelik tutumları ölçen yalnızca .20 güvenilirliğe sahip olduğunu bulmuşlardır. Belirli bir kişi için gözlenen puan p, o kişi için gerçek puan ile ilişkilidir.
1 bağımlı 2 bağımsız değişken örnekleri
Hata terimi formülü
En Küçük Kareler yöntemi varsayımları
Hata terimi hesaplama
En Küçük Kareler Yöntemi ile doğrusal regresyon Modeli oluşturmanın Temel Prensipleri
Hata terimi nedir
Y şapka nasıl bulunur
Havuzlanmış En Küçük Kareler yöntemi
Yani, ölçüm hatalarının kişiler arasında ortalaması alınır. Kişiler arasındaki puanların popülasyon ortalaması, bir ∞ (sonsuz) hata boyunca ölçüm hatalarının ortalamasını alır ve bu nedenle 0’dır. Yani, popülasyon düzeyinde, ölçüm hatasının ortalama üzerinde hiçbir etkisi yoktur.
Yani rastgele hata, ham puan işleme etkisini değiştirmez. Deneysel tasarımın işlenmesinde geleneksel istatistiklerin ölçüm hatasını göz ardı etmesinin nedeni budur. Bununla birlikte, istatistikte birincil ilgi konusu ham puan işleme etkisi değil, standart puan işleme etkisidir.
Meta-analiz amaçları için, çalışmalar arasında karşılaştırılabilirliği sağlamak için normal olarak standart puan tedavi etkilerinin kullanılması gereklidir. Bununla birlikte, standart puan işleme etkisi, istatistiksel anlamlılık testi tarafından değerlendirilen standart puan işleme etkisi olduğundan, geleneksel istatistiklerin merkezinde yer alır. Özellikle, geleneksel anlamlılık testinin gücü, standart puan tedavi etkisine bağlıdır.
Ölçüm hatası bağımlı değişkenin ortalamasını etkilemez ancak varyansı etkiler. Gözlenen puanların varyansı, gerçek puanların varyansıyla ilişkilidir.
Yani, ölçüm hatası varyansı ve dolayısıyla bağımlı değişkenin standart sapmasını artırır. O halde, deneysel ve kontrol grubu karşılaştırmasını düşünün. Hata eklemek, ortalamayı değiştirmez, ancak ortalamaya ilişkin puanların yayılmasını arttırır. Bu etki gösterilmiştir.
İki grup arasındaki ayrımın kapsamı, iki dağılım arasındaki örtüşme derecesine bağlıdır. Dağılımlar arasındaki örtüşmenin kapsamı, araçlar hakkındaki yayılma derecesine göre araçlar arasındaki farka bağlıdır. Araçlar arasındaki yayılma ne kadar büyük olursa, iki dağılım arasındaki örtüşme o kadar büyük olur.
Örtüşmenin kapsamının, ölçüm hatası varlığında büyük ölçüde arttığını gösterir. Güvenilirlik ne kadar düşükse, araçlar hakkındaki yayılma o kadar büyük ve dolayısıyla örtüşme o kadar büyük olur. Yani, ölçüm hatası miktarı arttıkça, fark giderek daha belirsiz hale gelir. İstatistiksel güç açısından, ortalamalar arasındaki fark ne kadar belirsizse, bu farkı tespit etmek o kadar zor olur.
Popülasyon ortalamaları ölçüm hatasından etkilenmediği için paylar eşittir. Ancak, ölçüm hatası standart sapmayı artırır ve dolayısıyla paydalar farklıdır. Standart sapmadaki artış ile verilir.
Yani, gözlemlenen puan için standartlaştırılmış etki büyüklüğü, güvenilirliğin karekökü ile çarpılan gerçek puan için standartlaştırılmış etki büyüklüğüdür. Örneğin, güvenirlik rYY = .81 olsaydı, etki büyüklüğü aşağı inerdi.
Etki boyutu ölçüm hatasıyla azaltılırsa, etkinin geleneksel anlamlılık testiyle saptanması daha zordur. Bu, Tablo 6.2’de gösterilmektedir. Ampirik çalışmalar için kabaca tipik bir değer olan N = 100 örneklem büyüklüğündeki çalışmalar için geleneksel anlamlılık testinin gücünü hesaplar.