Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, bir eğitimci tarafından sunulan ve Fatih İlhan, Furkan, Oğuzhan ve İsmail gibi öğrencilerin de katıldığı bir eğitim içeriğidir.
- Video, makine öğrenmesi kullanılarak geleceğe yönelik tahminlerin yapılabilip yapılamayacağı sorusunu ele alarak başlıyor ve zaman serisi tahminindeki temel prensipleri açıklıyor. İçerik, zaman serisi tahminindeki dört temel zorluğu (yeterli bilgiye sahip olunmaması, veri setinin sürekli değişmesi, kör soft dimensionality sorunu ve model seçimi zorluğu) detaylı şekilde ele alıyor ve çeşitli makine öğrenmesi algoritmalarını (LSTM, CNN, DNN, SARMAX, ensemble modeller, klasik algoritmalar) karşılaştırıyor.
- Videoda ayrıca veri anomalilerinin incelenmesi, ek bilgi toplama yöntemleri, online tahmin yapma ve eksik veri işleme teknikleri gibi konular da ele alınmaktadır. Elektrik tüketimi gibi zaman serisi verilerinde yapılan testler ve sonuçlar paylaşılırken, makine öğrenmesinin elektrik-elektronik mühendisliği alanındaki önemi de tartışılmaktadır.
- Makine Öğrenmesi ile Geleceğe Yönelik Tahminler
- Konuşmacı, gelecekte suç tahmini yapmak, İstanbul'da deprem tahmini yapmak gibi kaotik olmayan, fiziksel sistemlere bağlı tahminlerin makine öğrenmesi ile yapılabilir olup olmadığını sorguluyor.
- Google ve Uber gibi şirketlerin üzerinde çalıştığı, gelecekte hangi lokasyonlarda Uber ihtiyacı olacağını önceden tahmin etme problemi ele alınıyor.
- Walmart gibi büyük şirketlerin 28 gün boyunca her bir sorunun tahminini yapma problemi, makine öğrenmesi ile çözülebilecek bir problem olarak belirtiliyor.
- 02:10Makine Öğrenmesi ve Prediction Problemi
- Makine öğrenmesi, gerçek hayattaki problemlerin matematiksel bir çerçeveye oturtturulup çözülmesi olarak tanımlanıyor.
- Prediction problemi, tahmin etmeye çalışılan bir veri (örneğin doların fiyatı), geçmiş veriler ve yan bilgiler (gümüş, altın, hava durumu, politik durum, tweetler) kullanılarak ileriye doğru doğru tahmin yapmak olarak açıklanıyor.
- Makine öğrenmesinin amacı, gelecekteki veriyi geçmiş veriye ve yan bilgilere bağlayan bilinmeyen bir fonksiyonu (underlying function) öğrenmek.
- 04:20Makine Öğrenmesinin Matematiksel Yaklaşımı
- Machine learningde, tahmin etmeye çalışılan veri (t+1) geçmiş verinin ve yan bilgilerin birer fonksiyonu olarak tanımlanıyor.
- Bu fonksiyon zaman içinde değişebilir ve tüm gelecekteki veriyi geçmiş veriye ve yan bilgilere bağlayan bir model olarak düşünülüyor.
- Makine öğrenmesinin amacı, geçmişteki verilere bakarak bu bilinmeyen fonksiyonu zaman içinde öğrenmek.
- 07:04Makine Öğrenmesi ve Time Series Prediction
- Makine öğrenmesinde geçmiş veriler toplanarak, bu verilerin geleceği belirlediği varsayılır ve CNN, ResNet gibi algoritmalar kullanılarak model eğitilir.
- Makine öğrenmesi algoritması başarılı bir şekilde geçmiş verileri öğrenebiliyorsa, geleceğe kredi edilebilir.
- Ancak her şey tahmin edilebilir değildir; bazı durumlarda tüm bilgiye sahip olsanız bile tahmin edilemez.
- 09:50Time Series Prediction'de Karşılaşılan Zorluklar
- Eğer veri setindeki noise component çok fazlaysa, çok random veriler varsa veya underline relationship çok hızlı değişiyorsa, tahmin yapılamaz.
- Time series verilerde en büyük problem non-stationary (değişken) olmaktır; trend sürekli değişebilir ve geçmişle çok fazla alakası olmayabilir.
- Online öğrenme yapmak zor çünkü verinin gelecekte ne hızla değişeceğini önceden bilemezsiniz.
- 13:32Makine Öğrenmesinde Yapılan Hatalar
- Kör soft dimensionality olarak adlandırılan, tüm görülen verileri sisteme basıp algoritmanın karmaşık veriler içinde bir şey öğrenmesini beklemek yanlıştır.
- Time serisi probleminde milyonlarca veri yoktur, bir yılda sadece bir veri vardır ve bu veri sürekli değişir.
- Hangi verilerin gerçekten tahmin etmeye çalıştığınızla alakalı olduğunu bilemiyorsunuz, bu nedenle expert data analize ihtiyacınız vardır.
- 15:44Model Seçimi ve Veri Sorunları
- Hangi modelin hangi veride çalışacağı hala belirsizdir, Google'ın yapamadığını sizin yapabileceğinizi düşünmek yanlıştır.
- Gerçek hayatta veri bulmak zordur; bankalar eksik veri verir, veriler eksik olur ve anomali içerir.
- Veri temizleme ve sistem kurma, machine learning işinin %90'ını oluştururken, algoritma geliştirmek sadece %10'u oluşturur ve bunu sadece sayılı insanlar yapabilir.
- 20:00Veri Analizi ve Model Seçimi
- Veri analizinde ilk bakışta görülen anomaliler ve trendler incelenir, ancak tahmin edilemeyen veriler de dikkate alınır.
- Stationary veri olduğu için online prediction yapılabilir veya veriyi stationary hale getirmeye çalışılabilir.
- Zamana bağlı stationer veri için ek bilgiler toplanır: hafta sonları elektrik tüketimi, sabah-akşam farkları, politik olaylar ve rüzgar/su gibi faktörlerden elektrik üretimi ve tüketimi etkilenir.
- 22:17Model Seçimi ve Online Öğrenme
- Toplanan ek bilgiler ve dizayn belirlendikten sonra uygun model seçilir.
- Time serisi verileri için geçmiş veriler alınır, tahmin yapılır ve online learning yapılır.
- Time serisi probleminde test verisi her zaman ileriye doğru olmalıdır çünkü geçmiş gelecekte korelasyon vardır.
- 24:22Online Öğrenme Yöntemi
- Time serisi verilerde cross validation yapılamaz, validation ve test verileri hep ileriye yönelik olmalıdır.
- Her yeni veri geldiğinde, geçmişteki belli bir veri vadi trenin validation ve test yapılır.
- Sistem, değişimleri olsa bile öğrenmeye devam eder.
- 25:30Eski Modeller ve State Machine
- Eski modeller sinyal işlemelerinde yıllar boyu kullanılan metodlardır.
- State machine modelinde, tüm sistemi drive eden bir final state ve bir state vardır.
- Her t anında final state hem t+1'i generate eder hem de t+1'i geçtiğinde yeni bir state'i drive eder.
- 27:00State Machine'in Çalışma Prensibi
- Data, t+1 t+1 insan send t+1 datası geçmişi samarise eden bir state rektörü ve güncel inputlarla generate edilir.
- State information, tüm geçmişin bir samirisidir ve tüm geçmişteki bilgi bu state tarafından takip edilir.
- Makine öğrenmesinin yapması gereken, bu andırılan özeti ve bu özeti çıkaran e ve g mekanizmasını (parametreleri) öğrenmektir.
- 29:00Elektrik Tüketimi Örneği
- Elektrik tüketimi örneğinde, tüm geçmişi özetleyen bir vektör vardır ve bu vektörü çıkaracak sistem ortaya çıkarılır.
- Güncel bilgi olarak geçmiş yedi günlük veri alınabilir.
- Tüm bu karmaşık e-posta sistemi bir final state olarak modellenir ve bu mekanizma öğrenilir.
- 30:53Zaman Serisi Tahmininde Derin Öğrenme Yaklaşımı
- Konuşmacı, zaman serisi tahmininde geçmiş verileri kullanarak güncel veri için tahmin yapmayı planlıyor.
- CNN (Convolutional Neural Network) kullanarak veriden özellikler çıkaracak ve bu özelliklerden ileriye dönük tahmin yapacak.
- Time Sequential Convolution Network (TSCN) adı verilen, ileriye doğru filtreler kullanan bir model kullanacak.
- 34:23Derin Öğrenme ve Geleneksel Modeller
- Konuşmacı, hala popüler olan geleneksel algoritmaları (RNN, LSTM) kullanacağını belirtiyor.
- Zaman serisi tahmin yarışmalarının %80-85'i RNN, LGBM gibi geleneksel algoritmalar tarafından kazanılıyor.
- Bu geleneksel metodların derin öğrenmeden daha iyi çalışmasının nedeni büyük ihtimalle az verinin olması.
- 35:21RNN ve Ensemble Yaklaşımları
- RNN'ler, geçmiş veriler ve side information'ların arasındaki alakayı parçalara bölüp her parçaya ayrı bir model uydurarak öğreniyor.
- RNN'lerin iki dominant yaklaşımı var: boosting ve bagging.
- Ensemble yaklaşımı, farklı modellerin çıktılarını birleştirerek daha iyi bir tahmin elde etmeyi amaçlıyor.
- 42:44Model Performansı ve Sonuçlar
- Konuşmacı, farklı modelleri test ederek performans değerlerini karşılaştırıyor.
- SARMAX (Simple ARMAX) hala en iyi çalışan ve en basit model olarak görünüyor.
- Ensemble yaklaşımı, SARMAX ve diğer geleneksel algoritmaların korelasyonu olmadığı için daha iyi performans veriyor.
- 46:14Zaman Serisi Tahmininde Derin Öğrenmenin Geleceği
- Konuşmacı, makine öğrenmesinin hala bir at allah'tan at bir şey olduğunu ve mühendislik olmadan para etmeyeceğini belirtiyor.
- Derin öğrenme yeni bir metot olarak sunulsa da, zaman serisi tahmininde hala gidecek yolu olduğunu düşünüyor.
- Makine öğrenmesinde iyi işler çıkarmak için hem CS hem de AI bilgisi yeterli değil, kitaptan indirilen hiçbir şey gerçek hayatta doğrudan çalışmıyor.
- 48:06Makine Öğrenmesi ve Teknik Analiz
- Makine öğrenmesi uygulamalarında neyin çalışmadığını anlamak için iyi bir teknik analiz yapmak, matematik ve istatistiksel motor kullanmak gerekiyor.
- Çalışmayan sistemleri düzeltmek için iyi bir kodlama altyapısı olması ve gerekli değişiklikleri yapabilme yeteneği gerekiyor.
- 49:28Elektrik-Elektronikçilerin Makine Öğrenmesi'nde Popülerliği
- Elektrik-elektronikçiler "her şeyi yaparız" idsiyle makine öğrenmesine yaklaşıyor ve gerçek hayatı matematiksel olarak modellemeyi biliyorlar.
- Elektrikçiler matematiksel modelleme, korelasyon, bağımsızlık ve ensemble gibi konuları iyi bildikleri için bu alanda başarılı olabiliyorlar.
- Türkiye'de elektrik öğrencileri genellikle yüksek notlarla Bilkent gibi üniversitelere giriyor ve matematik arka planı sayesinde makine öğrenmesine ilgi duyuyorlar.
- 52:02Elektrikçilerin Kodlama Yeteneği
- Elektrikçilerin makine öğrenmesinde başarılı olmaları için computer science altyapısı gerekiyor, aksi takdirde modüler kod geliştirme ve düzenli kod geliştirme yapamıyorlar.
- Amerika'da elektrik mühendisliği ve computer engineering bölümlerinde matematik altyapısı daha fazla olduğu için ikisinin kombinasyonu daha etkili oluyor.
- 53:59Dropout ve Random Forest Algoritması
- Dropout, bazı nöronları kapatarak diğer nöronları güçlendirmek için kullanılan bir yöntemdir.
- Random forest algoritması, dropout'u kullanarak eksik veri ile çalışabiliyor ve inputationa gerek duymadan veri eksikliğini gideriyor.
- Random forest, çok fazla inputation gereken veriler için daha etkili olabiliyor çünkü dropout ile eksik verileri düşünerek eğitiyor.
- 55:45Veri Yetersizliği ve Online Prediction
- Veri yetersizliği durumunda generatif eğitim modelleri ve benzer sinyaller üreten modeller kullanılabilir.
- Online prediction'da yeni veri geldiği zaman ileriye doğru kaydırma işlemi devam ediyor.
- Gerçek hayatta spars veri ve non-stationary yapısı nedeniyle geçmişe bakılarak öğrenme zorlaşabiliyor.