Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, bir eğitmen tarafından sunulan "Yapay Zeka Sistemleri" dersinin beşinci haftası içeriğini kapsamaktadır.
- Video, doğrusal regresyonun temel kavramlarını ve matematiksel temellerini ele almaktadır. İlk olarak doğrusal regresyonun teorik yönleri ve y = θx + θ₁ denklemi açıklanmakta, ardından en küçük kareler metodu (OLS) ve normal denklemler yöntemi detaylandırılmaktadır. Daha sonra gradyan iniş (gradient descent) algoritması, optimizasyon teknikleri ve teta değerlerinin güncellenmesi konuları işlenmektedir.
- Ders, matris ve vektörlerin kullanımı, yerel ve global minimum kavramları, öğrenme oranı (learning rate) parametresi ve algoritmanın durdurulma kriterleri gibi teknik detayları da içermektedir. Video, izleyicilerin kitap içindeki kodları çalıştırarak örnek uygulamalar yapabilecekleri bilgisiyle sonlanmaktadır.
- 00:11Doğrusal Regresyon Kavramı
- Yapay zeka sistemleri dersinin beşinci haftasında doğrusal regresyon konusu işlenecek.
- Doğrusal regresyon, denetimli öğrenmenin bir algoritması olup, girdi özelliklerinin doğrusal bir fonksiyon ile temsil edilerek çıktı özniteliğini tahmin etmesine olanak tanıyan modellerdir.
- Doğrusal regresyon, çoklu doğrusal regresyon, polinom regresyon, destek vektör regresyon, karar ağacı regresyon ve rastgele orman regresyon gibi çeşitli modellerle sağlanabilir.
- 02:45Doğrusal Regresyonun Matematiksel İfadesi
- Doğrusal regresyon modeli matematiksel olarak y = θ₀ + θ₁x şeklinde ifade edilir, burada x bağımsız değişken, y bağımlı değişken, θ₀ kesen değer, θ₁ ise eğim değerini temsil eder.
- Doğrusal regresyonun amacı, θ₀ ve θ₁ değerlerini sürekli güncelleme yaparak en uygun doğrusal regresyon denklemini elde etmektir.
- Regresyon problemlerinde genellikle birden fazla bağımsız değişken kullanılır, ancak günlük hayat problemlerini tam olarak ifade etmek için tek bir bağımsız değişken yeterli değildir.
- 12:38Çoklu Doğrusal Regresyon
- Çoklu doğrusal regresyon modeli matris formunda gösterilebilir, burada y çıktı özniteliklerini, X girdi özniteliklerini, θ ağırlık değerlerini ve ε hata terimini vektör olarak ifade eder.
- Matris formunda gösterim, modellerde birçok işlemi matris ve vektörler bazına dönüştürerek daha kolay gerçekleştirme şansı sağlar.
- 14:34Matris Formu ve En Küçük Kareler Metodu
- Matris formu, birden fazla örneği matematiksel olarak göstermek için kullanılır ve tek bir denklem yerine birden fazla örneği mat formatında gösterebiliriz.
- En küçük kareler metodu, 1805 yılında Gauss tarafından geliştirilmiş bir metod olup, bugüne kadar kullanılmaya devam eden temel bir matematiksel yaklaşım olarak önemlidir.
- En küçük kareler metodu, en uygun regresyon modelinin belirlenmesinde teta ağırlıklarının tahmin edilmesi sürecinde kullanılır.
- 17:28En Küçük Kareler Metodunun Uygulaması
- En küçük kareler metodu, veri setindeki birçok noktanın doğruya olan mesafelerinin toplamını en aza indirmeyi amaçlar.
- Bir noktanın doğruya olan mesafesi epsilon değeri ile gösterilir ve genellikle hata veya artık olarak adlandırılır.
- Hataların toplamını bulurken her bir hatanın mutlak değerini almak yerine, hataların karelerinin toplamı kullanılır çünkü bu hatanın en küçüklenmesi sürecinde daha kullanışlı bir yöntemdir.
- 26:06Normal Denklemler ve Kapalı Form Çözümü
- En küçük kareler metodu uygulamak için iki temel yöntem vardır: normal denklemler (kapalı form çözüm) ve optimizasyon (en küçükleme teknikleri).
- Normal denklemler yöntemiyle, hataların karelerinin toplamını hesaplayıp, bu fonksiyonun teta değişkenine göre kısmi türevini alıp sıfıra eşitleyerek teta değerini bulabiliriz.
- Bu yöntemle ağırlık değerlerini değiştirebileceğimiz bir formül elde ederiz, ancak matrisin tersini alma işlemi uzun süren ve hesaplamasının maliyeti ağır olan bir işlemdir.
- 29:24Normal Denklemler ve En Küçükleme Yöntemi
- Yirmi binlik bir matris üzerinde normal denklemler yöntemi kullanmak işin içinden çıkılmaz hale gelebilir.
- Örnek sayısı az ise normal denklemler veya kapalı form çözüm yöntemi kullanılabilir.
- Örnek sayısı çok fazla olduğunda en küçükleme (minimizasyon) yöntemleri ve çeşitli algoritmalar kullanılmalıdır.
- 30:30Sezgisel Optimizasyon Algoritmaları
- En küçükleme yöntemleri matematiksel sayısal algoritmalar veya sezgisel algoritmalarla geliştirilebilir.
- Sezgisel optimizasyon algoritmaları arasında genetik algoritmalar, karınca kolonisi algoritması ve yapay arı kolonisi algoritması bulunmaktadır.
- Bu algoritmalar genellikle doğadaki hayvanların yaşam felsefelerini örnek alarak maliyet fonksiyonunu minimum yapan değerleri bulmak için kullanılır.
- 32:01Türev ve Gradyan Vektörü
- Doğrunun eğimi y'deki değişim ile x'deki değişim oranıdır.
- Bir fonksiyon üzerindeki bir noktanın eğimi, o noktada teğet doğrunun eğimine eşittir.
- Türev, fonksiyonun çok küçük bir parçasının eğimini bulmak için yapılan işlemdir.
- 37:27Gradyan Vektörünün Özellikleri
- Birden fazla değişkene sahip bir fonksiyonun her bir değişkenine göre alınan kısmi türevler ile elde edilen vektörlere gradyan vektörü denir.
- Gradyan vektörü, fonksiyonun herhangi bir noktasından fonksiyona çizilen dik vektördür.
- Fonksiyona dik olan gradyan vektörü yönünde ilerlersek tepe noktasına, tersi yönünde ilerlersek dip noktasına yaklaşırız.
- 40:21Regresyon Probleminde Optimizasyon
- Regresyon probleminde kapalı form çözüm olmadan teta değerlerini ayarlamak için eğim iniş algoritması kullanılabilir.
- En küçük kareler yönteminde hataların karelerinin toplamını minimum yapmak bir optimizasyon problemidir.
- Hata fonksiyonunu minimuma çekebilmek için algoritmayı her iterasyonda eğiterek hatayı kademeli azaltmak gerekir.
- 41:58Teta Değerlerinin Rastgele Başlatılması
- Teta değerlerini rastgele bir noktadan başlatmak gerekiyor çünkü başlangıçta bu değerleri bilmiyoruz.
- Başlangıç değerlerinin rastgele seçilmesi, yerel minimuma veya global minimuma erişmemizi etkiler.
- Rastgele başlangıç noktasından hareketle, algoritma sürekli çalıştırılarak hata değeri düşürülebilir, ancak başlangıç noktasına bağlı olarak yerel minimum veya global minimum bulunabilir.
- 43:01Global ve Yerel Minimum
- Yerel minimum ve global minimum arasındaki farkı belirleyemeyiz, ancak makine öğrenmesi çalışmalarında en düşük hatayı bulan model en iyi model olarak kabul edilir.
- Sınıfta aynı ödevi verildiğinde, herkes farklı başlangıç değerleri kullanacağından sonuçlar farklılık gösterecektir.
- Hiper parametre optimizasyonları da performansı etkiler ve başlangıç değerlerinde rastgelelik söz konusudur.
- 44:31Eğitim Örneği
- Başlangıçta rastgele bir teta değeri (0.1 ve 1) seçilerek eğitim başlatılır ve ilk iterasyonda hata değeri 6 olarak hesaplanır.
- 10 iterasyonda teta değeri 0.31 ve 1 olarak güncellenir, hata değeri 4.9'a düşer.
- 100 iterasyonda hata değeri 1'e kadar düşer ve model daha iyi temsil edici bir doğrunun oluşması sağlanır.
- 46:47Algoritma Durdurma Kriterleri
- Algoritmanın durdurulması için iki kriter vardır: belirli bir iterasyon sayısı veya belirli bir hata değeri.
- Hata değeri sürekli düşen bir eğriyse, iterasyon sayısını artırarak eğitim devam ettirilebilir.
- Hata değeri belirli bir seviyeye geldiğinde (örneğin 10^-13) eğitimi sonlandırmak mümkündür, ancak bu durumda algoritmanın uzun sürebileceği riski vardır.
- 49:16İyileştirme Algoritması
- İyileştirme algoritmasının temel düşüncesi, rastgele belirlenen başlangıç noktasının koordinatının her iterasyonda gradyan vektörünün tersi yönünde güncellenmesidir.
- Algoritma üç adımda çalışır: hata fonksiyonu hesaplanır, kısmi türevler alınır ve teta değerleri güncellenir.
- Teta değerlerinin güncellenmesinde öğrenme oranı (learning rate) kullanılır ve bu hiper parametre, ağırlık değerlerinin ne kadar hızlı güncelleneceğini belirler.
- 51:53Öğrenme Oranının Etkisi
- Öğrenme oranı küçük seçilirse, algoritma küçük adımlarla ilerleyerek eğitim uzun sürebilir.
- Öğrenme oranı büyük seçilirse, adımlar daha büyük olur ancak dip noktasına geldiğinde zıplamalar (zikzak) oluşabilir.
- Learning rate değeri deneme yoluyla ayarlanabilir ve programlarda değiştirilebilir bir parametredir.