Doğrusal Regresyonlar
Doğrusal ve lojistik regresyonlar birçok eğilimi tanımlar. Doğrusal regresyon genellikle doğrudan korelasyonu değerlendirmek için kullanılırken, lojistik regresyon büyüme hızlarını ve doygunluğu değerlendirmek için kullanılır. Her ikisi de tahmin veya “tahmin” için önemlidir.
Yukarıdaki varyans analizi (ANOVA) için F-skorunda olduğu gibi, doğruluğu tahmin etme yeteneği, “genel varyans” ile karşılaştırıldığında “yerel varyansın” bir fonksiyonudur. Verilen bir ölçülen y değerinden x-değerini tahmin etme yeteneğinin, lojistik eğrinin orta kısmında daha yüksek olduğunu ve eğimdeki farklılıklar nedeniyle başlangıçta ve sonunda çok daha zayıf olduğunu görüyoruz.
Bu nedenle genel öngörülebilirlik alt aralığa bağlıdır ve hedefimiz girdiler aralığında eşit öngörülebilirliğe sahip olmaksa, bir hibrit regresyon modeline ihtiyacımız olacaktır.
Bir regresyon modelinin zaman içindeki faydası, süreç/analitik sistemin işlemesi gereken verilerdeki sapmayı değerlendirerek ele alınabilir. Bu, eğitim verilerinin oluşturulma zamanına göre düzenlenmesini ve mevcut sistemin artık verileri tatmin edici bir şekilde işlememesi için verilerin ne zaman yeterince uzağa sürükleneceğine dair bir tahmin modeli toplanmalıdır.
Bu, sistemin kendisinde “içgözlemsel tahmin”dir. Yani, tahmine dayalı bir sistemin zaman içinde iyi tahmin etme yeteneğini tahmin ediyoruz. Bu, modelin etki alanı tahmin yeteneklerinin zamansal tahminidir.
Ölçeklendirme sırasında tahmine dayalı bir modelin kullanışlılığı, en iyi şekilde verilerin “yetersiz eğitimi” ile ele alınır. İdeal olarak, bu, doğrulama ve/veya test için temel gerçeğin çok daha büyük bir yüzdesinin kullanılabilmesi için mümkün olduğunca eğitim verisi olarak temel gerçeğin yüzdesinin küçük bir yüzdesinin kullanılması anlamına gelir. Bu genellikle sistem ölçeklendirmesi için daha fazla sağlamlığa yol açar ve modelin zamansal sapma için test edilmesine izin verir (yine de zamansal sapmanın test edilmesi için eğitim verilerinin “yeniden amaçlanması” kabul edilebilir olsa da).
Dağıtılmış uygulamalar için bir regresyon modelinin kullanışlılığı modülerlik perspektifinden görülebilir. Bir yaklaşım ne kadar modüler olursa, o kadar fazla dağıtılabilir. Hemen hemen her algoritmik görev için alan özgüllüğü vardır; örneğin, metin algoritmaları genellikle görüntülerden veya sensör bilgilerinden bilgi çıkarmak için kullanılanlardan oldukça farklıdır.
Bu nedenle, etki alanı özgüllüğü, modüler olmamanın bir işareti değildir. Bununla birlikte, bağlam kaymalarına karşı yüksek hassasiyet (farklı fakat ilgili bir dile geçmek veya bir kameradan diğerine geçmek gibi), analitik bir yaklaşımın görevine fazlasıyla uygun olduğunun göstergeleridir. Bu, yüksek değerli, yüksek güvenlikli vb. bir süreç için kabul edilebilir olabilir, ancak bu aşırı eğitimli koşullarda, benimsenen yaklaşımın büyük olasılıkla genelleştirilemeyeceği anlaşılmalıdır.
Son olarak, güvenilirlik için bir regresyon modelinin kullanışlılığı, eğitim verilerinin belirli bir şekilde paylaştırılmasıyla test edilebilir. Analitik yaklaşımın güvenilirliğini test etmek için yüksek düzeyde ilişkili olmayan eğitim ve doğrulama setleri kullanılabilir. Analitik yaklaşımı eğitmek ve test etmek için bir k-katlı çapraz doğrulama kullanıldığında, bu tür sağlamlık neredeyse kesinlikle elde edilmez, çünkü bu durumda, etiketli (temel gerçek) verilerin çok büyük bir kısmı eğitim için kullanılır ve sağlamlık için sistemi doğrulama yeteneği mümkün değildir.
Lineer regresyon formülü
Lineer regresyon analizi
Lineer Regresyon
Doğrusal regresyon
Lineer Regresyon Örnekleri
Doğrusal regresyon örnekleri
Lineer Regresyon algoritması
Lineer regresyon Nedir
Analitik İçin Algoritmalar
k-Ortalamalar ve k-en yakın komşu kümelemesi
Analitikteki en önemli görevlerden biri verilerin kümelenmesidir. Yukarıda açıklandığı gibi, kümeleme görevi, bir varyans analizinin (ANOVA) son aşamasında hangi grupların birbirinden istatistiksel olarak önemli ölçüde farklı olduğunu belirleme görevine benzer.
k-ortalama kümeleme için, genellikle beklenti-maksimizasyon adı verilen yinelemeli bir algoritma kullanılır. Bu yinelemeli algoritma, yineleme başına iki adımdan oluşur: (1) her numuneyi en yakın küme merkezine atayın ve (2) kendisine atanan numune kümesine dayalı olarak küme merkezini yeniden tanımlayın. Ancak bu işlemle ilgili birkaç sorun var:
(a) Orijinal merkez kümeleri nasıl atanır?
(b) Kaç tane merkez noktası olmalıdır?
(c) Yinelemeler nasıl sonlandırılır?
(a) için, centroidleri başlatmanın birçok makul yolu vardır. Başarılı bir şekilde uyguladığım yöntemler arasında, ilk centroid olarak rastgele bir örnek seçmek ve ardından mevcut centroid kümesinden en uzak toplam mesafeyi örnekler olarak k-1 daha fazla centroid seçmek vardır.
Bu yaklaşım, seçilen merkezlere biraz “gürültü” eklendiğinde iyi çalışır – örneğin, her boyuttan sonra küçük bir yüzdeye (tipik olarak ortalama merkezler arası mesafenin %10-20’sine) eşit bir ofset ekleyin. başlangıç centroids kümesi tanımlanır.
Merkezleri başlatmak için farklı bir yöntem kullanır. Burada, verinin n boyutunda bir n-tuple oluşturmak için bir rasgele sayı üreteci (RNG) kullanılır ve konumlar n-tuple tarafından tanımlanır. x1~4[0.0, 6.0] cinsinden aralık ve y1~4[0.0, 9.0] cinsinden etki alanı.
Bu tipiktir—bir aralığın uç noktası etrafındaki bir “tampon”, numune sayısıyla ters orantılı ve/veya numuneler arasındaki ortalama mesafelerle orantılı olarak eklenir. Ne olursa olsun, sonunda “A” kümesi haline gelen ilk ağırlık merkezi için, RNG [0.535, 0.590] değerini verdi ve x1~40.0 olduğu yerde gösterildiği gibi [3.21, 5.31] başlangıç değeriyle sonuçlandı.
k1⁄44 için aynı yaklaşım benimsenmiştir. Şekillerin karşılaştırılması 1.8 ve 1.9, kaç küme olması gerektiğine ilişkin (b) sorusunu ele almamıza izin verir. En basit cevap, test edilen makul bir k değeri aralığı verildiğinde, merkezler arası değişkenliğin küme içi değişkenliğe en yüksek oranını sağlayanı seçmektir. Optimal bir k sağlamak için bir veya daha fazla düzenlileştirme yöntemi eklemek tartışılacaktır.
Son olarak, (c) sorusunu yanıtlamamız ve yinelemeyi ne zaman sonlandıracağımızı belirlememiz gerekiyor. Genel olarak bu, mevcut kümeler kümesinin önceki bir kümenin tekrarı olup olmadığının kontrol edilmesiyle gerçekleştirilir; bu durumda tekrarlar arasındaki merkezler arası değişkenliğin küme içi değişkenliğe oranı en yüksek olan yineleme seçilir.
Çok büyük veri kümeleriyle, yineleme bundan daha az değiştiğinde süreci sonlandıran bir minimum değişiklik kriteri kullanılabilir. Her durumda, mutlak bir maksimum yineleme sayısı ayarlanmalıdır.
Kümeler oluşturulduktan sonra mevcut kümelere yeni noktalar eklenebilir. Bununla birlikte, yeni noktaları kümelemenin en basit biçimi, “gruplar arası” varyansa bile dayanmaz; bunun yerine, genel popülasyonda kendisine en yakın k komşularının grup üyeliğini basitçe tablo haline getirir.
Aynı harfin, k’nin burada kullanıldığına dikkat edin, ancak bu, k anlamına gelen k’den tamamen farklı bir k’dir. Bu kümeleme yaklaşımında iki değişken vardır: (1) en yakın komşu sayısı, k ve (2) yakınlığın tanımı. Bunların her biri, kümeleme işlemi sırasında değiştirilebilir ve bir tür uyum iyiliği ölçümü sağlayabilir.