• Buradasın

    R ile Optimizasyon İşlemi ve Sarıyer Makinesinde Çalıştırma Eğitimi

    youtube.com/watch?v=rpaS4AeQHAo

    Yapay zekadan makale özeti

    • Bu eğitim videosunda, İstanbul Teknik Üniversitesi İnşaat Fakültesi Hidrolik Bilim Dalında Araştırma Görevlisi Eyüp Ensar Başak ve Doç. Dr. Mehmet Cüneyt Demirel, R programı kullanarak optimizasyon işlemleri ve bunların Ulusal Yüksek Başarımlı Hesaplama Merkezi (UHE) ve Sarıyer makinesinde nasıl çalıştırılacağını göstermektedir.
    • Video, iki ana bölümden oluşmaktadır. İlk bölümde UHE'ye kayıt olma ve erişim için gerekli adımlar (OpenVPN ve SSH kurulumu) anlatılmakta, ardından Google'dan alınan bir optimizasyon problemi için R programında metahuristic optimizasyon algoritması kullanılarak minimum değer bulma işlemi adım adım gösterilmektedir. İkinci bölümde ise R algoritmasının market listesi oluşturma, boş makinaların listelenmesi, dosyaların çalışma ortamına aktarılması ve makineye iş verme süreci detaylı olarak anlatılmaktadır.
    • Videoda ayrıca makine öğrenmesi ve derin öğrenme algoritmalarının uzun süren işlemler için bu makinenin nasıl kullanılabileceği de açıklanmaktadır.
    00:01Ulusal Yüksek Başarımlı Hesaplama Merkezi'ne Giriş
    • Eyüp Ensar Başak, İstanbul Teknik Üniversitesi İnşaat Fakültesi Hidrolik Bilim Dalında Araştırma Görevlisi olarak çalışmaktadır.
    • Ulusal Yüksek Başarımlı Hesaplama Merkezi (UHEM) üzerinden Arpa Cat programında nasıl işlem yapılacağı gösterilecektir.
    • UHEM merkezine Google'da "i.edu.tr" linki aratılarak ulaşılabilir ve kayıt yaptırılarak proje başlığı ve özetiyle başvuru yapılabilir.
    00:44UHEM'e Erişim İçin Gerekli Adımlar
    • Google üzerinden yapılan başvurudan sonra onay maili gelir ve bu mailde proje adı, kullanıcı adı ve şifre tanımlanır.
    • UHEM'e erişmek için VPN bağlantısının gerçekleştirilmiş olması gerekir ve mailde OpenVPN programı kullanılır.
    • OpenVPN ve SSH shell programları kurulmalıdır; OpenVPN programı sağ alt tarafta sembol oluşturur ve bağlanılabilir.
    02:43SSH Bağlantısı Kurma
    • OpenVPN tanımlandıktan sonra SSH programı açılır ve connect bağlantısına tıklanır.
    • Host name kısmına "sarıyer.uhm.itu.edu.tr" yazılır, kullanıcı adı ve şifre maildeki bilgilerle doldurulur.
    • SSH'a profil kaydedilebilir, böylece daha sonra kolayca bağlanılabilir.
    04:36R Programında Optimizasyon İşlemi
    • R programında turistik algoritmalar yardımıyla optimizasyon işlemi gerçekleştirilecektir.
    • Ek holder function olarak aratılan optimizasyon problemi, x1 ve x2 değerlerine bağlı bir minimum değer bulma problemidir.
    • Denklemin global minimum noktası -259,64 olarak verilmiş ve x1 ve x2 değerleri -512 ile 512 aralığında aranacaktır.
    06:31R Kodunun Hazırlanması
    • Ek holder function için hazır R kodu (heg) alınmış ve R paket programına yerleştirilmiştir.
    • Sarıyer makinasına bağlanmadan önce set vd işlemini gerçekleştiren üç satır kod çalıştırılmalıdır.
    • Sarıyer makinasında Arpa Cat programı yüklü olup, metahuristic op ve rio isimli kütüphaneler install packages komutuyla yüklenmelidir.
    08:37Optimizasyon Algoritması Uygulama
    • Optimizasyon problemi için meteoristik optimizasyon kullanılır ve num var, range var, number of row gibi parametreler tanımlanır.
    • Artificial bee colony algorithm (ABC) kullanılarak optimizasyon işlemi gerçekleştirilir.
    • ABC algoritması için fonksiyon ismi, optimizasyon türü, popülasyon sayısı, iterasyon sayısı ve alt üst rangeler tanımlanır.
    11:12Kodun Çalıştırılması ve Kaydedilmesi
    • Kod çalıştırıldığında optimizasyon işlemi tamamlanır ve optimum değer ekrana yazdırılır.
    • Kod C veya D sürücüsünde "uhem" isimli bir klasörde kaydedilmelidir.
    • SSH'da çalışmayı sağlayacak olan esas sh dosyası da kaydedilmelidir ve bu dosyada proje ismi, makine ismi, çekirdek sayısı ve makine sayısı gibi bilgiler yer almalıdır.
    13:18R Script Hazırlama ve Dosya Tanımlama
    • İş bitince veya sorun çıkarsa mail atılması isteniyor, mail adresi tanımlanıyor.
    • Çalıştırılacak iki komut var: R modülünün yüklenmesi ve ek function Rscript ile çalıştırılması.
    • İki ana dosya gerekiyor: accolder function yapılan R dosyası ve market listesi isminde tanımlanan SS dosyası.
    14:14Makine Seçimi ve İşlem Tanımlama
    • Market listesi oluşturulduktan sonra boş makinalar listeleniyor.
    • Short Q adlı makine maksimum bir saat süreyle çalışabileceği için kısa işlemler için uygun.
    • Daha uzun işlemler için maksimum 21 saat, 7 saat, 3 saat veya gün olarak çalışan makinalar mevcut.
    15:42Dosya Yükleme ve Çalışma Ortamına Bağlanma
    • New file transfer window kullanılarak bilgisayarda düzenlenmiş market listesi ve R algoritması çalışma ortamına aktarılıyor.
    • Dosyalar upload edilerek okyanus çalışma ortamına yükleniyor.
    • CD komutu ile çalışma ortamına bağlanılıyor.
    17:38İşlem Kontrolü ve Tamamlama
    • Sarıyer makinesinin ana bağlantı kısmında market listesinin çalışıp çalışmadığına dair bilgi sahibi olunabiliyor.
    • Market listesi çalıştırıldığında önce paketler yükleniyor, library ile çağrılıyor ve AR işlemi gerçekleştiriliyor.
    • İşlem tamamlandığında makineye iş vermek için "s 5" komutu kullanılıyor ve job ID veriliyor.
    19:54Sonuç ve Kapanış
    • İşlem tamamlandığında mail atılıyor ve çıktılar market listesine kaydediliyor.
    • Excel'e kopyalanıp yapıştırıldığında istenen çıktı elde ediliyor.
    • R programı çalıştırılarak makine öğrenmesi algoritmaları, özellikle derin öğrenme algoritmaları uzun sürede çalıştırılabilir.

    Yanıtı değerlendir

  • Yazeka sinir ağı makaleleri veya videoları özetliyor