Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, Microsoft yetkili etmeliyim ve son beş yıldır üst üste data platform alanında en değerli profesyonel ödülüne layık görülen Abdullahe tarafından sunulan kapsamlı bir eğitim serisidir.
- Eğitim, SQL Server 2019'daki makine öğrenimi servislerini, Python ve R scriptlerini kullanarak veri işleme tekniklerini ve makine öğrenimi modelleme süreçlerini adım adım anlatmaktadır. Video, SQL Server Machine Learning Server'ın kurulumundan başlayarak, veri okuma, Python kodları ile veri işleme, makine öğrenimi modelleme, tahminleme ve serileştirme süreçlerini kapsamaktadır.
- Eğitim içeriğinde ayrıca Azure Notebook kullanımı, veritabanı oluşturma, tablo ekleme, Semttense eklentisi ile grafik oluşturma, üç boyutlu görselleştirme, lineer regresyon modeli oluşturma ve gerçek zamanlı analiz için C++ kütüphanelerinin kullanımı gibi konular da ele alınmaktadır. Video, yaklaşık bir saat süren eğitim sonunda katılımcıların sorularını yanıtlamaktadır.
- 00:04Sunum ve Etkinlik Programı
- Konuşmacı Abdullah, Microsoft'un yetkili etmeliyim ve son beş yıldır üst üste data platform alanında en değerli profesyonel ödülüne layık görülmektedir.
- Şubat ayı programında Snaps Analytics, uçtan uca Snaps Analytics çözümleri, modern veri ambarı mimarisi, data didaplication ve veri kalitesi arttırma konuları ele alınacaktır.
- Nisan ayına kadar devam edecek bu seri etkinliklerde Snaps ile ilgili data virtuation kavramı da konuşulacaktır.
- 01:25Etkinlik İçeriği
- Bugün eski 2019 üzerindeki makine öğrenimi servisleri hakkında konuşulacak, özellikle machine dönü servis in database özelliğine odaklanılacaktır.
- Ortamın hazırlanması, R ve Python scriptlerini kullanarak verileri işleyebilme ve eski içerisinde dışarı çıkmadan makine öğrenme çalışmaları yapma konuları ele alınacaktır.
- Önceki etkinlikte bahsedilen otomateden ve makine öğrenimi kavramlarına daha sonra bir göz atılması tavsiye edilmektedir.
- 02:37Makine Öğrenimi ve Veri Analizi
- Veri analizinde dört farklı sorunun cevabı araştırılır: iki tanesi geçmişi tahliye etmek için, iki tanesi geleceği tahmin etmek için sorulan sorulardır.
- Geçmişi tahlil etmek için "neden oldu?" ve "niçin?" soruları sorulur, bu konuda rekabet avantajı artık pek sağlanamamaktadır.
- Geleceği tahmin etmek için "what olacak?" ve "neyi değiştirmem lazım?" soruları sorulur, bu konuda rekabet avantajı hala sağlanabilmektedir.
- 03:52İstatistiksel ve Matematiksel Teknikler
- Geçmişi tahlil etmek için daha çok desk statik kullanılır, standart sapmalar gibi kavramlar karşımıza çıkar.
- Geleceği tahmin etmek için inf istatistik teknikleri kullanılır, hipotez kurma, regresyon çalışmaları, zaman serileri ve normal dağılım gibi kavramlar karşımıza çıkar.
- Algoritmaları doğru kullanmak ve etkisini araştırmak, etkisinin farkında olarak sorumluluk bilinciyle hareket etmek çok önemlidir.
- 05:05Veri Bilimi ve Makine Öğrenimi Uygulamaları
- Veri bilimi ve makine öğrenimi ile duygu analizleri, abone kaybı tahmini, müşteri segmentasyonu, dolandırıcı tespiti, müşteri sadakat seviyesi ölçümü ve fiyat optimizasyonu gibi uygulamalar yapılabilir.
- 2019 yılında makine öğrenimi algoritmaları kullanılarak bu çözümler daha etkili bir şekilde uygulanabilmektedir.
- Veri bilimi alanında en çok kullanılan diller Python, R ve Scala'dır, ancak amaca uygun olarak farklı diller de kullanılabilir.
- 06:45SQL Server 2019'da Makine Öğrenimi Servisleri
- SQL Server 2019'da beş servis bulunmakta olup, bunlar R, Python ve Scala ile çalışmayı sağlar.
- Instance Futures servisi, her SQL Server kurulumunda tekrar tekrar kurulabilen birbirinden bağımsız çalışan kurulumlardır.
- Machine Learic Server, modelleri oluşturmak, web servis haline getirmek ve yayınlamak gibi performanslı özellikler sunar.
- 08:21SQL Server 2019 Kurulumu
- SQL Server üzerinde Machine Learic Service kurulumu yapıldığında SQL Server Launchpad servisi kurulur ve bu servisin açık olması gerekir.
- Kurulum sırasında Microsoft'un hazırladığı R ve Python paketleri yüklenir ve Anaconda dağıtımı ile bazı araçlar ve örnek scriptler sunulur.
- Kurulum tamamlandıktan sonra Program Files altında SQL Server klasörünün altında Python Services ve R Service'ın kurulu olduğu kontrol edilebilir.
- 10:13SQL Server'da Kod Çalıştırma
- SQL Server'da kod çalıştırmak için önce SQL Server'da bir prosedür kullanmak gerekir.
- SQL Server'da bu özelliği aktif etmek için ayarlardan veya SQL Server Configuration Manager'dan "SQL Server Execution Engine" seçeneğini aktif etmek gerekir.
- Yazılan komutlar Launchpad servisi tarafından doğru engine'e gönderilir ve işlemler tamamlandıktan sonra SQL Server tarafından çıktılar görüntülenir.
- 11:56Makine Öğrenimi Örneği
- Örnek veri setinde araçların yakıt tüketimi, silindir hacmi, ağırlığı, üretim yılı ve beygir gücü gibi bilgiler bulunmaktadır.
- Ağırlıkla yakıt tüketimi arasında neredeyse lineer bir ilişki olduğu görülmektedir.
- Bu örnek üzerinden SQL Server'da Machine Learic Server'ın nasıl kullanılacağı gösterilecektir.
- 13:21SQL Server'da Launchpad Servisi ve SP_EXECUTE EXTERNAL_SCRIPT Prosedürü
- Launchpad servisi açık olmalı ve SQL Server'da SP_EXECUTE EXTERNAL_SCRIPT prosedürü kullanılacak.
- SP_EXECUTE EXTERNAL_SCRIPT prosedürü çeşitli parametrelere sahip olup, en çok karşılaşılan parametre language'dır.
- Python dili ile toplama ve çarpma işlemleri yapılarak örnek bir kod çalıştırılabilir.
- 16:30Azure Data Studio Kullanımı
- Azure Data Studio kurulduğunda artık Azure SQL Server Data Studio aracı geliyor ve analiz serüvenini dökümente etmek için notebook kullanım imkanı sunuyor.
- Azure Data Studio'da SQL Server'a bağlanabilir, veritabanlarını görüntüleyebilir ve yeni sorguları çalıştırabilirsiniz.
- Notebook özelliği ile Jupyter Notebook kullanılarak kod hücreleri oluşturulabilir ve çıktılar görüntülenebilir.
- 19:41CSV Dosyasını Okuma ve Veritabanına Kaydetme
- Pandas kütüphanesi kullanılarak CSV dosyası okunabilir ve filtreleme yapılabilir.
- SP_EXECUTE EXTERNAL_SCRIPT prosedürünün param parametresi ile dışarıdan tanımlanan parametreler ve veri tipleri belirtilir.
- With ResultSet kullanılarak CSV dosyasından okunan veriler tabloya insert edilebilir.
- 23:34Görselleştirme Eklentisi
- Azure Data Studio'da eklentiler indirilebilir ve görsel oluşturma imkanı sağlanabilir.
- Visual eklentisi kullanılarak tablo çıktıları görsel olarak gösterilebilir.
- 23:57Veri Görselleştirme
- Grafik yapma yöntemi kullanılarak model yıldaki araç sayıları incelenebiliyor.
- Scatter grafiği ile beygir gücü ve yakıt tüketimi (mpg) arasındaki ilişki görselleştirilebiliyor.
- Üç boyutlu grafik oluşturulabilir ve silindir hacmi, model yılı gibi farklı kriterlere göre renklendirilebilir.
- 27:01SQL Verilerini Python'a Aktarma
- SQL'den okunan veriler Python'a aktarılabilir ve orada işlenebilir.
- Loop back connection seçeneği ile Python'dan SQL'e bağlanılabilir ve sonuçlar ekranda görüntülenebilir.
- 2019'da gelen bu özellik, daha önce desteklenmeyen bir teknik olarak sunulmuştur.
- 28:55Makine Öğrenimi Modeli Eğitimi
- CSV dosyası okunarak soru işareti olan değerler filtreleniyor ve matplotlib kütüphanesi ile grafik oluşturuluyor.
- Ağırlık ile yakıt tüketimi arasında negatif ve güçlü bir korelasyon tespit ediliyor.
- Sklearn kütüphanesi kullanılarak lineer regresyon algoritması ile model eğitiliyor.
- 32:35Eğitilmiş Modeli Kaydetme
- Eğitilmiş model serileştirilerek bir tabloya kaydediliyor.
- Epic Cars isimli bir tablo oluşturuluyor ve modelin adı, versiyonu ve eğitim tarihi bu tabloya ekleniyor.
- Bu şekilde tüm eğitilmiş modeller tabloya depolanabiliyor ve ihtiyaç duyulduğunda kullanılabilir.
- 35:31Makine Öğrenimi ile Tahminleme
- Tahminleme işlemi için önce model serileştirilir ve "pick" komutu ile aynı model seçilir.
- "Pratik" komutu ile tahmin yapılır ve input kısmına prosedürden gelen satırlar verilir.
- Output set değişkeni ile tahmin sonuçları görüntülenebilir ve model binary olarak dışarı gönderilebilir.
- 37:26Tahminleme Örneği
- Tahminler için "mpc cars" tablosuna gidilir ve Python diliyle kütüphane kullanılarak eğitilmiş model seçilir.
- Seçilen model bir değişken üzerinde tutulur ve prosedür satırları ile eğitilmiş modelin binary versiyonu verilerek tahmin sonuçları alınır.
- Örnek olarak silindir, hızlanma, ivme, beygir gücü ve ağırlık gibi bilgiler girilerek araçların ne kadar yol gideceğine dair tahminler alınabilir.
- 38:23Simülasyon ve Değişken Değişiklikleri
- Araçların ağırlığı değiştirilerek (örneğin 2793 kg'dan 2500 kg'a) ne kadar yol gideceğine dair tahminler alınabilir.
- Beygir gücü artırılarak (örneğin 86 beygirden 120 beygir'e) araçların ne kadar yol gideceğine dair tahminler alınabilir.
- Bu örnek birçok yerde kullanılabilir ve makine öğrenimi süreçleri normal sorgular içerisinde dahil edilebilir.
- 39:41Gerçek Zamanlı Analiz İçin Çözümler
- Modelleri tabloya depolamak ve tekrar desenlize etmek yorucu bir süreç olup, sürekli Python time gerektirir.
- Gerçek zamanlı analiz için "real time scoring" ve "nak" özellikleri kullanılarak C++ kütüphanesi devreye girebilir.
- Bu yöntemler sayesinde dışarı çıkmadan tahmin yapılabilir ancak her algoritma bu şekilde kullanılamaz, Microsoft'un servisle gelen ARX kütüphaneleri ve algoritmaları kullanılmalıdır.
- 41:47SQL Server'da Scoring Özellikleri
- Microsoft'un kütüphanelerini kullanarak tablodan desen desenlize etmeden fonksiyon yardımıyla tahminleme yapılabilir.
- Rex isimli bir Diony algoritması kullanılarak model oluşturulabilir ve pet fonksiyonu ile tahminler yapılabilir.
- Bu özelliklerle gerçek zamanlı analiz yapılabilir ve daha doğal tahminleme yapılabilir.
- 43:02SQL Server'da Scoring Özelliklerinin Tarihçesi
- SQL Server 2016'dan beri scoring özelliği mevcuttur.
- SQL Server 2017'de R desteği, 2019'da R ve Java desteği ve harici kütüphaneler oluşturma özelliği eklendi.
- Cluster desteği de eklendi ve bu servis anında kullanılabilir hale geldi.
- 43:35SQL Server'da Scoring Özelliklerinin Gelişimi
- Python kodları içerisinde SQL Server'a ulaşılabilir ve çıktı yeniden setle SQL Server'a döndürülebilir.
- External execute script prosedüründe yeni parametreler geldi ve partition yapılmış tablolara bağlanıp birden fazla model üretme imkanı sağlandı.
- Arka planda mekanizmalarda iyileştirmeler yapıldı ve kullanımı kolay hale getirildi.
- 44:57Kütüphane Yükleme ve Performans
- Kütüphane yüklemeleri Python içerisinde pip paket yükleme aracı ile yapılabilir veya notebook açıkken sağ taraftaki map ikonu üzerinden yapılabilir.
- Lokaldeki Anakonda ile SQL Server'daki kütüphane çakışması olmaz çünkü her biri ayrı bir ortamda çalışır.
- Performans açısından direkt Python üzerinde çalışmak daha avantajlıdır çünkü Azure'daki servis üzerinden aktarım ve dönüştürme işlemi yavaşlık yaratır.
- 47:54Kütüphane Kaynakları ve Kapanış
- SQL Server ile beraber gelen kütüphaneler servisi kurduğunuzda hazır olarak kullanılabilir durumdadır.
- Kütüphane kaynakları Microsoft'un resmi sitesinden veya belirtilen linklerden bakılabilir.
- Eğitim videoları YouTube sayfasında paylaşılır ancak hemen yayınlanmaz, bu nedenle canlı yayınları takip etmek tavsiye edilir.