Regresyon

Hiyerarşik Regresyon ve Stepwise Regresyon, çoklu regresyon analizinde kullanılan iki yöntemdir. Hiyerarşik Regresyon, bağımsız değişkenlerin araştırmacının belirlediği sıraya göre modele dahil edilmesini sağlar. Stepwise Regresyon, bağımsız değişkenlerin modele dahil edilme sırasını istatistiksel bir kritere göre belirler. Stepwise regresyon, genellikle iki şekilde uygulanır: İleri Seçim (Forward Selection). Geri Seçim (Backward Elimination).

Çok değişkenli regresyon analizi, iki veya daha fazla bağımsız değişkenin, bir bağımlı değişkeni tahmin ettiği durumları inceleyen bir istatistiksel yöntemdir. Bu analizde: Bağımlı değişken (Y) sürekli bir değişken olarak gösterilir. Bağımsız değişkenler (X1, X2, X3...) ise sürekli veya nominal olabilir. Çok değişkenli regresyon analizinin amacı, elde edilen regresyon denklemi yardımıyla tahminde bulunmak ve hangi bağımsız değişkenlerin modele daha fazla katkı yaptığını belirlemektir.

Regresyon analizinde konu anlatımı için aşağıdaki adımlar izlenebilir: 1. Temel Kavramlar: Bağımlı ve bağımsız değişkenler. Basit ve çoklu regresyon. 2. Regresyon Denklemi: Tek doğrusal regresyon. Çoklu doğrusal regresyon. 3. Değişken Ekleme Yöntemleri: Enter, forward selection, backward selection ve stepwise selection yöntemleri. 4. Sayıltılar ve Örneklem Büyüklüğü: Doğrusallık, normal dağılım, sıfır olmayan varyans gibi sayıltılar. 5. Örnek Uygulama: Verilerin toplanması ve analizi. Regresyon analizinde konu anlatımı için ayrıca "acikders.ankara.edu.tr" ve "mustafaserdarkonca.medium.com" sitelerindeki kaynaklar da faydalı olabilir.

Regresyon analizinde doğrusallık, dağılım grafiği (scatter plot) kullanılarak kontrol edilebilir. Doğrusallığın kontrol edilmesi için şu adımlar izlenebilir: 1. Graphs > Scatter/Dot menüsüne girilir. 2. Simple Scatter seçeneği seçilir. 3. Define butonuna basılır. 4. Bağımsız değişken soldan alınıp X Axis bölümüne, bağımlı değişken ise Y Axis bölümüne taşınır. Eğer dağılım grafiği doğrusal bir ilişkiyi gösteriyorsa, regresyon analizi yapılabilir.

K-Nearest Neighbors (KNN) algoritması şu adımlarla hesaplanır: 1. Optimum K değerinin belirlenmesi. 2. Mesafenin hesaplanması. 3. En yakın komşuların bulunması. 4. Sınıflandırma veya regresyon. KNN algoritmasının hesaplanması için çapraz doğrulama (cross-validation) ve dirsek yöntemi (elbow method) gibi yöntemlerle optimum K değeri bulunabilir. KNN algoritmasının hesaplanması için gerekli kod örnekleri ve detaylı açıklamalar için aşağıdaki kaynaklar kullanılabilir: GeeksforGeeks. Miuul. YouTube.

Regresyon modelinin yorumlanması için aşağıdaki unsurlar dikkate alınmalıdır: F-Değeri: Anket modelinin istatistiksel anlamlılığını ölçer. R-Kare (R²): Bağımsız değişkenin, bağımlı değişkendeki hareketleri ne kadar açıkladığını gösterir. P-Değeri: Bağımsız değişkenin etkisinin istatistiksel olarak anlamlı olup olmadığını gösterir. Katsayılar: Diğer bağımsız değişkenlerin etkisi sabit tutulduğunda, her bir bağımsız değişkenin bağımlı değişkeni ne kadar etkilediğini gösterir. Regresyon modelinin doğru yorumlanması için bir uzmana danışılması önerilir.

Y = a + bx regresyon denklemi, basit doğrusal regresyon analizinde kullanılan bir denklemdir. Bu denklemdeki terimler şu anlamlara gelir: Y: Bağımlı değişken, tahmin edilmeye çalışılan değişken. X: Bağımsız değişken, tahmin için kullanılan değişken. a: Regresyon doğrusunun y eksenini kestiği nokta, kesim noktası veya intercept olarak adlandırılır. b: Eğim veya slope olarak adlandırılır ve bağımsız değişkendeki (X) her bir birimlik artışın, bağımlı değişken (Y) üzerinde yarattığı ortalama değişimi ifade eder.

Regresyon analizinin yapılma nedenlerinden bazıları şunlardır: Tahmin. Hata düzeltme. Optimizasyon. Değişkenler arasındaki ilişkiyi anlama. Sezgilere bağlı hataları önleme. Regresyon analizinin kullanım alanlarından bazıları ise finans, talep analizi, CAPM, rekabet karşılaştırması ve pazar araştırmasıdır. Regresyon analizinin neden yapıldığına dair daha fazla bilgi için bir uzmana danışılması önerilir.

Regresyonda b1 ve b0 parametrelerinin hesaplanması için "En Küçük Kareler Yöntemi" kullanılır. B1 ve B0'ın hesaplanması için gerekli formüller: B1: b1 = (n Σ(x y) - Σx Σy) / (n Σx² - Σx²). B0: b0 = Σy - b1 Σx. Burada: Σ, toplam işlemini; n, veri setinin büyüklüğünü; x ve y, bağımsız ve bağımlı değişkenleri temsil eder. Örnek Python kodu: ```python from sklearn.linear_model import LinearRegression lineer_regresyon = LinearRegression() lineer_regresyon.fit(df["TV"].values.reshape(-1,1),df["Sales"].values.reshape(-1,1)) print("B0 =", lineer_regresyon.intercept_) print("B1 =", lineer_regresyon.coef_) ``` Bu kod, `TV` ile `Sales` arasındaki ilişkiyi analiz eder ve B0 (kesim noktası) ile B1 (eğim) değerlerini hesaplar.

Extra Trees (Aşırı Rastgele Ağaçlar) algoritması şu şekilde çalışır: 1. Veri Hazırlığı: Her ağaç için tüm eğitim verileri kullanılır, bootstrap örnekleme yapılmaz. 2. Ağaç İnşası: Özellik Seçimi: Her düğümde, rastgele bir özellik alt kümesi seçilir. Bölme Seçimi: Her özellik için rastgele bölme noktaları oluşturulur ve en iyi rastgele bölme noktası seçilir. 3. Ağaç Büyütme: Her ağaç, durdurma kriterine ulaşana kadar (örneğin, saf gruplar veya minimum örnek boyutu) büyür. 4. Tahmin: Sınıflandırma: Tüm ağaçlar, çoğunluk oyuyla tahmin yapar. Regresyon: Tüm ağaçların tahminlerinin ortalaması alınır. Extra Trees algoritmasının bazı avantajları: Hızlı Eğitim: Optimal bölme noktaları aramak yerine rastgele bölme noktaları seçtiği için, büyük veri setleri için hızlı eğitim sağlar. Güçlü ve Güvenilir: Tek karar ağaçlarına göre daha az overfitting riski taşır ve birçok problemde iyi performans gösterir. Özellik Önemi: Hangi özelliklerin tahminlerde en önemli olduğunu belirlemeye yardımcı olur. Minimum Ön İşleme: Sayısal ve kategorik değişkenleri iyi işler, eksik değerler ve aykırı değerlerle başa çıkabilir.

Doğrusal modeller şu şekilde sınıflandırılabilir: Doğrusal Programlama (DP). Genelleştirilmiş Doğrusal Modeller (GLM'ler). Doğrusal Regresyon. Ayrıca, "Devre Analizi-I" dersinde "doğrusal modeller" başlığı altında "lineer ve nonlineer yapılar" ele alınmaktadır.

SSE (Sum of Squared Errors - Hata Kareleri Toplamı), bir veri kümesindeki tahmin edilen değerler ile gerçek değerler arasındaki kare farklarının toplamıdır. Özetle: - SSE: Tahmin edilen ve gerçek değerler arasındaki kare farklarının toplamı. - MSE: SSE'nin hata terimlerinin serbestlik derecesine bölünmesiyle elde edilen ortalama. MSE, ne kadar düşük olursa, model bir veri kümesine o kadar iyi uyar.

Makine öğrenmesinde SSE (Sum of Squared Errors - Karelerin Toplamı Hatası) şu şekilde hesaplanır: 1. Her tahmin için: Gerçek değer ile tahmin edilen değer arasındaki fark bulunur. 2. Farklar karelenir. 3. Tüm veri noktaları için karelenmiş farklar toplanır. SSE'nin formülü şu şekildedir: SSE = Σ(ŷi - yi)² Burada: - ŷi: Tahmin edilen değer - yi: Gerçek değer Örnek: Bir veri setinde beş veri noktası olduğunu ve bir modelin bu veri noktaları için şu değerleri tahmin ettiğini varsayalım: ŷ1 = 6, ŷ2 = 7, ŷ3 = 8, ŷ4 = 9, ŷ5 = 10 Gerçek değerler ise: y1 = 5, y2 = 6, y3 = 7, y4 = 8, y5 = 9 SSE hesaplaması şu şekilde yapılır: SSE = (6 - 5)² + (7 - 6)² + (8 - 7)² + (9 - 8)² + (10 - 9)² = 1 + 1 + 1 + 1 + 1 = 5. SSE, bir modelin tahminlerinin gerçek değerlere ne kadar yakın olduğunu gösterir; daha düşük bir SSE değeri, modelin verilere daha iyi uyduğunu ifade eder.

Regresyon testi, yazılım geliştirme sürecinde yapılan değişikliklerin, mevcut işlevselliği nasıl etkilediğini değerlendirmek amacıyla gerçekleştirilen bir test türüdür. Regresyon testinin amacı: Daha önce düzgün çalışan kısımların, yapılan değişiklikler sonucunda nasıl etkilendiğini tespit etmek. Hataların erken tespit edilmesine yardımcı olarak maliyetleri düşürmek. Kullanıcı deneyimini olumsuz etkileyebilecek hataların önüne geçmek. Regresyon testi ne zaman yapılır: Sistem üzerinde her değişiklik yapıldığında. Yeni özellikler eklendiğinde. Hata düzeltmeleri yapıldığında. Regresyon testi türleri: Tam regresyon testi. Kısmi regresyon testi. Odaklanmış regresyon testi.

Random Forest (Rastgele Orman) algoritmasının kullanılma sebeplerinden bazıları şunlardır: Yüksek tahmin doğruluğu. Gürültü ve aykırı değerlere karşı sağlamlık. Büyük veri kümelerini verimli işleme. Aşırı öğrenmeyi önleme. Özellik önemi analizi. Çok yönlülük. Boyutluluk azaltma. Bununla birlikte, Random Forest modellerinin diğer araştırma alanlarında genelleştirilememesi, değişken seçimine bağlı olarak modelde önyargı oluşabilmesi ve model doğrulamasının zor olabilmesi gibi dezavantajları da bulunmaktadır.

Regresyon analizinde kullanılan bazı istatistikler şunlardır: R-kare (Determinasyon Katsayısı). F-değeri. P-değeri. Regresyon katsayısı (β). Hata terimi (ε). Ayrıca, regresyon analizinde kullanılan bazı özel yöntemler ve teknikler de vardır, örneğin: Lojistik regresyon. Polinom regresyon. Kademeli regresyon.

LTR testi farklı bağlamlarda farklı anlamlara gelebilir. İşte bazı olası LTR testleri: İmmün fonksiyon testi. Panik değer testi. Ayrıca, LTR kısaltması, "long term relation" (uzun süreli ilişki) veya "left to right" (soldan sağa) gibi çeşitli terimlerin kısaltması olarak da kullanılabilir.

Logistik regresyon ve doğrusal regresyon arasındaki temel farklar şunlardır: Çıktı değişkeni. Değişken ilişkisi. Matematiksel dağılım türü. Hata minimizasyonu. Kullanım alanları: Doğrusal regresyon. Logistik regresyon.

Basit regresyonda hata terimi, 0 ortalamalı ve 𝜎² varyanslı Normal dağılıma sahiptir. Hata terimlerinin ayrıca şu özelliklere de sahip olması beklenir: Sabit varyans: Hata terimlerinin her birinin dağılımının varyansı sabittir. Otokorelasyon olmaması: Hata terimleri birbirini etkilemez. Tesadüfi değişken olmaması: Xi değişkeni tesadüfi bir değişken değildir.

Stepwise regresyon, aşağıdaki durumlarda kullanılabilir: Çok sayıda değişken olduğunda. Teorik temellerin olmadığı durumlarda. Zaman kısıtlaması olduğunda. Ancak, stepwise regresyon yönteminin bazı sınırlamaları vardır: Overfitting riski. Değişkenlerin farklı veri kümelerinde değişkenlik gösterebilmesi. Teorik temellere dayanmayan modeller. Bu nedenle, stepwise yöntemi kullanılırken dikkatli olunmalı ve elde edilen sonuçlar kuramsal ve pratik açıdan da değerlendirilmelidir.