Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, Ortadoğu Teknik Üniversitesi'nden Elektrik-Elektronik Mühendisliği ve Matematik alanında uzman olan Elif Ural (Elif Hoca) tarafından verilen bir akademik sunum ve soru-cevap oturumudur.
- Sunum, "graflarda sinyal işleme" konusuna giriş amaçlı hazırlanmış olup, graf teorisi, graf Laplace operatörü, graf frekans dönüşümü (GFT), spektral filtreleme ve sözlük öğrenme gibi temel kavramları ele almaktadır. Video, teorik açıklamaların yanı sıra MATLAB ile yapılan grafikler ve gerçek veri setleri üzerinden somut örnekler sunmaktadır.
- Sunumda ayrıca graf sinyallerinin ulaşım ağları, salgın hastalıkların yayılımı ve beyin ağları gibi farklı alanlardaki uygulamaları, domain adaptation problemi ve eksik gözlemlerin tamamlanması için sözlük öğrenme yöntemleri anlatılmaktadır. Son bölümde ise graf konvolüsyonel ağların eğitim süreleri ve hesaplama kaynakları gibi pratik uygulama konuları tartışılmaktadır.
- 02:23Konuşmacının Tanıtımı
- Konuşmacı Elif Ural, Ortadoğu Teknik Üniversitesi'nden elektrik-elektronik mühendisliği ve matematik alanlarında lisans derecelerini tamamlamıştır.
- İsviçre'deki Ecole Polytechnique Federal'de doktorasını 2013 yılında tamamladıktan sonra 2005-2015 yılları arasında Fransa'daki INES araştırmalarında doktora sonrası araştırmacı olarak çalıştı.
- 2015'ten beri ODTÜ'de elektrik-elektronik mühendisliği bölümünde öğretim üyesi olarak görev yapmaktadır.
- 03:18Sunumun Amacı
- Sunumun amacı son on yıllık tarihçesi olan graflar üzerinde sinyal işleme alanına kısa bir giriş ve tanıtım yapmaktır.
- Klasik sinyal işlemede kullanılan filtreleme ve Fourier transform gibi tekniklerin graflara nasıl aktarılacağı anlatılacaktır.
- Derin öğrenme gibi popüler modellerin graflara nasıl genelleştirilebileceği de ele alınacaktır.
- 03:57Graflarda Veri Analizi
- Günümüzde pek çok modern uygulamada veriler düzensiz yapıdaki ağ topolojileri üzerinde elde edilmektedir.
- Sosyal ağlarda, sensör ağlarında ve iletişim ağlarında birbirleriyle ilişki içerisinde olan kullanıcılar veya düğümlerin arasındaki kompleks etkileşimleri modellemek için graph modelleri kullanılmaktadır.
- Graflarda veri analizi ve graflar üzerine sinyal işleme, bu tür problemleri çözmek için ilgi çeken bir araştırma konusu olmuştur.
- 05:04Graflarda Çözülen Problemler
- Graflarda çıkarım ve kestirim problemleri, eksik gözlemlenen graf sinyallerinin bilinmeyen düğümlerdeki değerlerini tahmin etme işlemidir.
- Sosyal ağlarda kullanıcıların film notlarını tahmin ederek recommender sistemleri oluşturmak gibi örnekler verilmiştir.
- Graflarda görüntüden arındırma, filtreleme ve sınıflandırma problemleri de ele alınmaktadır.
- 08:14Spektral Graf Teorisi
- Spektral graf teorisinde temel kavramlar düğümler (nodes), kenarlar (edges) ve ağırlıklar (weights) olarak tanımlanmaktadır.
- Graflarda bir sinyal, düğümler kümesinden reel sayılara bir fonksiyon olarak tanımlanabilir ve vektör şeklinde ifade edilebilir.
- Her düğümdeki sinyal değeri vektörün bir elemanı olarak yer alır ve bu vektör, graf üzerindeki sinyali temsil eder.
- 10:06Graph Laplace Matrisi Tanımı
- Graphlarda sinyal işlemede çok önemli olan graph laplace matrisi, Wight matrisi ve derece matrisi kullanılarak oluşturulur.
- Wight matrisinde komşu nodlar arasında pozitif bir kenar ağırlığı varsa, o entrylerde bu değer yazılır, yoksa sıfır konulur.
- Derece matrisi, Wight matrisinin her satırındaki değerlerin toplamı ile oluşturulur ve diagonal matris olarak ifade edilir.
- 11:15Graph Laplace Matrisinin Önemi
- Hem Wight matrisi hem de graph laplace matrisi, grafın topolojisini net ve tam bir şekilde tanımlar.
- Bir grafın bilgisini, graph laplace matrisini veya Wight matrisini bilmekle aynı şeydir.
- Graph laplace matrisi, graf sinyalleri üzerinde bir operatör olarak düşünülebilir ve lineer matris çarpımı işlemi ile uygulanabilir.
- 12:39Graph Laplace Operatörünün Fiziksel Anlamı
- Graph laplace operatörü, bir graf sinyalindeki her bir nodun değerini, o nodun derecesi ile çarpıp, komşu nodların değerlerini negatif işaretli olarak toplar.
- Bu operatör, dijital sinyal işlemede ikinci türev alan konvolüsyon filtresine benzer şekilde çalışır.
- Ortadaki değeri pozitif yüksek bir katsayı ile çarpıp, komşu değerleri negatif ve daha küçük katsayı ile çarpar.
- 15:23Graph Laplace ve Klasik Laplace Operatörünün İlişkisi
- Graph laplace operatörü ile klasik laplace operatörü arasında teorik olarak kanıtlanmış bir ilişki vardır.
- Bir manifold (yüzey) üzerinde alınan örneklerle oluşturulan grafın laplace matrisi, örnek sayısı sonsuza giderken sürekli yüzey üzerindeki laplace operatörüne yakınsar.
- Bu sonuç, graph laplace operatörünün Euclid uzaylarındaki laplace operatörünün grafik karşılığı olduğunu gösterir.
- 16:50Laplace Operatörü ve İg Fonksiyonları
- Laplace operatörü ikinci türe f uygulanır ve bu operatörün ig fonksiyonları kompleks exponanciallar (kompleks aşılar) olarak bulunur.
- Kompleks aşılar sinyal işlemede frekans analizi yaparken kullanılır ve sinyalin frekans içeriğini verir.
- Laplace operatörünün ig fonksiyonları, frekans analizinde kullanılabilecek kompleks exponancialların yerini alır.
- 18:24Graph Laplace Matrisinin İg Vektörleri
- Graph Laplace matrisi simetrik ve gerçek bir matris olduğu için eigenvector'lar bulunabilir ve bunlar U₁, U₂, ..., Uₙ şeklinde gösterilir.
- İg vektörler (Uk) klasik sinyal işlemede kompleks exponancialların yerini alır ve her bir vektörün ilgili frekansını veren değer vardır.
- İg değerler artan sıralandığında, ilgili vektörler giderek daha hızlı değişen (yakın periyotlu) sinyalleri temsil eder.
- 21:56Graph Fourier Transform
- Klasik sinyal işlemede frekans dönüşümü için kompleks exponanciallar kullanılırken, graf sinyallerinde bu yerine eigenvector'lar (Uk) kullanılır.
- Graph Fourier Transform (GFT), bir graf sinyalini U matrisi ile çarpma işlemiyle elde edilir ve UUᵀF işlemi bu dönüşümü verir.
- Ters Graph Fourier Transform, spektral uzaydaki frekans bileşenlerini U matrisi ile çarparak orijinal sinyali yeniden sentezler.
- 23:43Graph Filtreleme
- Klasik sinyal işlemede filtreleme zaman uzayında convolution ile yapılırken, graf sinyallerinde bu işlem zordur çünkü graf üzerinde "kaydırma" kavramı tanımsızdır.
- Graf sinyallerinde filtreleme, spektral uzayda (frekans uzayında) çarpma işlemiyle yapılabilir.
- Spektral uzayda filtreler, frekans değişkeni λ'ya göre tanımlanır ve alçak geçirgen (low-pass) veya yüksek geçirgen (high-pass) filtreler gibi tanımlanabilir.
- 26:17Graph Laplace ve Spektral Dönüşüm
- Graph Laplace matrisi, skaler fonksiyonları matrislere dönüştürerek en önemli bir matrisi verir.
- Bu matris, curl operatörü kullanarak grafen düğümlerini lokalize eder.
- Matrisin kolon vektörleri graf sinyali olarak düşünülebilir ve birinci kolon, curnalın bir düğümda lokalize olmuş şeklini verir.
- 27:22Farklı Frekans İçeriğindeki Sinyaller
- Low-pass sinyaller ılımlı ve yavaş değişirken, yüksek frekanslı sinyaller komşular arasında ani değişim gösterir.
- Farklı frekans içeriğindeki curnaller, aynı merkez düğümda farklı şekilde lokalize olur.
- GL matrisi, curnalı düğümlerde generate ettiren ve lokalize ettiren önemli bir operatördür.
- 29:44Filtreleme İşlemi
- Filtreleme işlemi, input graf sinyalinin graph frekans dönüşümünü alarak spectral uzayda yapılır.
- Filtreleme, frekans uzayında filtre ile çarpma işlemi olarak gerçekleştirilir.
- Filtrelenen sinyal, ters graph frekans dönüşümü ile düğüm uzayına geri dönüştürülür.
- 32:14Seyrek Gösterimler ve Wavelet Dönüşümü
- Graph frekans dönüşümü bir change of basis olarak görülebilir ve sinyal, dictionary modelleri kullanılarak gösterilebilir.
- Graph wavelet'lar, klasik wavelet'ların graflara uyarlanmış halleridir.
- Graph wavelet tasarımı, frekanslara göre sabit enerji dağılımı elde etmek için low-pass ve band-pass curnaller seçimiyle gerçekleştirilir.
- 36:42Graph Sinyalleri ve Uygulamaları
- Dictionary'yi aldığımızda, kolonlar birer wavelet atomu haline gelir ve aktiflerden gelen kolonlar bir graf sinyali olarak gösterilir.
- Wavelet'lerin uygulamaları arasında ağ üzerinde veri analizi, ulaşım ağları, salgın hastalıkların yayılımını modelleme gibi alanlar bulunmaktadır.
- Wavelet gösterimi, salgın hastalığın kaynağı veya trafik tıkanıklığının hangi moddan kaynaklandığını belirlemek gibi sorulara cevap bulmaya yardımcı olabilir.
- 37:49Wavelet'lerin Farklı Uygulamaları
- 2011 makalesinde, Mine Sota'daki ulaşım ağı üzerinde graf oluşturulmuş ve farklı frekans bölgelerinde farklı görünümler elde edilmiştir.
- Beyin ağlarında farklı bölgeler birbirleriyle yakın ilişki içerisinde çalışabilir ve beyin sinyallerinin analizi veya gürültüden alındırılması gibi uygulamalarda wavelet'ler kullanılabilmektedir.
- Beyin ağlarında da benzer şekilde, farklı frekans bölgelerinde farklı graf görünümleri elde edilmiştir.
- 39:01Domain Adaptation Problemi ve Çözümü
- Domain adaptation problemi, bir kaynak veri kümesinden (örneğin not classification problemi) üç tane sınıf olduğu ve hedef veri kümesindeki class label'larını bulma problemidir.
- 2019'daki çalışmada, kaynak veri kümesindeki wavelet'leri oluşturup, leble fonksiyonunu wavelet türünden yazarak alpha katsayılarıyla çarparak hedef veri kümesindeki sinyri sentezlemişlerdir.
- Bu yaklaşım, free transform gibi temsili gösterimlere kıyasla over-complete gösterimler kullanmanın başarıyı artırdığını göstermiştir.
- 40:51Dictionary Learning Problemi
- Dictionary learning probleminde, veriden öğrenilen bir gösterim bulunmaya çalışılır ve sinyal (y) dictionary (d) ve sparse katsayılar (x) kullanılarak ifade edilir.
- Graf sinyalleri için, klasik algoritmalar (KSBD gibi) kullanılabilir ancak graf topolojisini kullanmamaktadır.
- Graf topolojisini kullanmanın bir yolu, sub-dictionary'leri birleşimi şeklinde yazmak ve her sub-dictionary'yi bir graf filtresi şeklinde yazmaktır.
- 42:24Graf Sözlük Öğrenme Yaklaşımları
- Graf sözlük öğrenme probleminde, c'leri non-parametrik olarak (birer vektör) direkt datadan öğrenmek veya parametrik olarak öğrenmek iki temel yaklaşım olarak gösterilmiştir.
- Parametrik öğrenimde, curnalları bir polinom olarak yazarak dictionary öğrenme problemi, polinom katsayılarını öğrenmeye denk gelir.
- Bu çalışma, training sinyallerinde eksik girişler (görülmemiş gözlemler) olduğu durumda sözlük öğrenme problemine odaklanmıştır.
- 43:20Spektrumun Farklı Bölgelerinde Bileşenler
- Doğal graf sinyalleri genellikle spektrumun farklı bölgelerinde bileşenlere sahip olabilir, örneğin Fransa'daki Molla adasındaki rüzgar ölçümleri.
- Rüzgar ölçümlerinde düşük frekanslardaki bileşenler daha global karakteristikleri, yüksek frekanslardaki bileşenler ise daha hızlı değişimleri temsil eder.
- Bu çalışma, spektrumun belli bölgelerinde yoğunlaşan veriler için uygun bir sözlük öğrenme algoritması geliştirmiştir.
- 44:29Sözlük Öğrenme Algoritması ve Sonuçlar
- Sözlük öğrenme algoritmasında, sub-dictionary'leri spektrumda dar bantlarda yerleştirerek dataya uygun bir sözlük modeli öğrenmeye çalışılmıştır.
- Sözlük öğrenme problemi, curn parametrelerini (merkez değerleri ve ölçekleri) öğrenmeye denk gelmiştir.
- Bu sözlük öğrenme algoritması, sentetik graf ve gerçek veriler (Fransa'daki Molla adasındaki rüzgar hızı ve sıcaklık ölçümleri) üzerinde test edilmiş ve önceden hazır graf wavelet'lerine göre daha iyi sonuçlar vermiştir.
- 47:05Doğrusal Olmayan Modeller ve Derin Öğrenme
- Lineer gösterimlerden başlayarak, doğrusal olmayan modelleri nasıl kullanabiliriz ve basitten zora doğru giderek daha elaboratif yöntemler oluşturabilir miyiz sorusu derin öğrenme yöntemlerini sorguluyor.
- Günümüzde çok sık kullanılan CNN'ler, input sinyali alıp convolution filtreleme işlemlerinden geçerek, non-lineer aktivasyon fonksiyonundan geçirerek katman katman ilerleyerek output oluşturuyor.
- Graflarda da benzer bir yapı oluşturulabilir; input sinyali yanında bir topoloji de bulunabilir ve bu topoloji bilgisini de kullanarak networkler nasıl eğitilebilir sorusu inceleniyor.
- 49:41Graf CNN'ler ve Çözüm Önerileri
- Geçtiğimiz yılda pek çok araştırmacı, graf topolojisini CNN'ye dahil etmek için graf filtreleri kullanarak çözüm önerdiler.
- Graf filtreleri, grafın topolojisini data ile parametrize edilmiş bir G matrisinden elde edilir ve bu matrisin bulunuşu için L matrisi ile G matrisinin çarpımı gerekiyor.
- Bu işlem büyük graflar için zor olduğundan, pratik bir çözüm olarak filtreli bir polinom kullanmak önerildi, böylece L matrisi ile çarpma işlemine gerek kalmıyor.
- 52:26Graf CNN'lerin Gelişimi
- CheckNet gibi graf CNN'lerin farklı varyantları ortaya çıktı ve Welling'in çalışması çok rağbet gördü.
- Welling'in çalışması, polinomdan da kurtularak lineer bir model önerdi ve bu model iki katmanlı bir graf CNN çalışmasına indirgenmiş oldu.
- Bu modelde A matrisi ile çarpma işlemi, her notun kendi özelliklerini yandaki notların özelliklerine bakarak benzerleştirmesi anlamına geliyor ve bu, normal CNN'lerden ayıran önemli bir fark.
- 54:37Graf Verilerinin Analizi ve Gelecek Araştırmalar
- Graflar üzerinde verileri analiz etmekte temel zorluk, topolojilerin düzensiz oluşudur ve kaydırma, filtreleme gibi işlemler trivial değildir.
- Spektral uzaydan geçerek graf filtreleme yapılabilir, sözlük modelleri öğrenebilir ve graf network gibi yapılar tasarlanabilir.
- Gelecek araştırmalarda büyük graflar için pratik ve performans kaybı olmadan yaklaşık modeller bulunması ve yeni graf nodelarını nasıl genelleme yapabileceğimiz soruları önemlidir.
- 58:02Spektral Graf Teorisi ve Uygulamaları
- Spektral graf teorisi, salgınların çıkış noktasını tespit etme gibi pratik uygulamalar için önemli bir araç olabilir.
- Salgın yayılımının ters problem olarak modellenmesi ve spektral uzaya dönüştürülmesi mümkündür.
- Salgın yayılımı, stokastik proseslerle de modelleyebilir ve graf süreçleri olarak ele alınabilir.
- 59:46Spektral ve Speyşel Graf Konvolüsyon
- Spektral graf konvolüsyonun yanında speyşel graf konvolüsyon da bulunmaktadır.
- Graf Laplasyanının polinomları türünden yazılabilecek filtreler, localization özelliği sunar.
- Polinom konvolüsyonlar, spektral domain'e geçmeden vertex uzayında işlem yapılmasını sağlar ve özellikle büyük graf problemlerinde kullanışlıdır.
- 1:02:09Sözlük Öğrenmesi ve Gürültü
- Sözlük öğrenmesi hala gelişmekte olan bir konudur ve farklı gürültü modelleri kullanılmıştır.
- Klasiğe sinyal işlemede kullanılan spars gürültü modelleri, graf sinyalleri için de uygulanabilir.
- Uygulama ve problem türüne göre spesifik gürültü modelleri geliştirilebilir.
- 1:03:17Seyreklik Gösterimi ve Derin Öğrenme
- Seyreklik gösterimi ile derin öğrenme birleştirilmiş çalışmalar bulunmaktadır.
- Graph konvolüsyonel ağlar genellikle az sayıda katman (2-3 katman) kullanır.
- Derin yapılar kullanıldığında eğitim süreleri artar ve hesaplama gücü kritik önem taşır.