Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, Dekosel Bilişim'de veri mühendisi olarak görev yapan Büşra Güner tarafından sunulan bir eğitim semineridir. Büşra, yaklaşık sekiz yıldır iş zekası alanında danışmanlık, takım liderliği ve ekip kurulumu gibi farklı firmalarda tecrübeler edinmiştir.
- Seminer, Azure Synapse Analytics servisini kapsamlı şekilde ele almaktadır. İçerikte data leg ve data weas kavramlarının gelişim süreci, Azure Synapse'in ne olduğu, SQL pool ve Spark pool gibi iç haplar, modern veri mimarisi ve best practice'ler anlatılmaktadır. Ayrıca, veri aktarımı teknikleri, Synapse Studio arayüzü, workspace oluşturma, data hub, data factory ve Power BI ile entegrasyon gibi konular demo ile gösterilmektedir.
- Seminer, veri analitiği alanında hem tecrübeli hem de yeni başlayanlar için hazırlanmıştır. Video, Azure Synapse'in kurulum aşamalarından başlayarak, lokal veri kaynaklarından Azure SQL Pool'a veri aktarımı, staging havuzu oluşturma, DWH havuzuna veri taşıma ve Power BI Desktop ile veri modelleme süreçlerini adım adım göstermektedir.
- 00:04Azure Sinaps Analytics Tanıtımı
- Azure Sinaps Analytics, son dönemde popülerliği artan ve iş zekası projelerini Azure üzerinde nasıl yapabileceğimizi inceleyeceğimiz bir konu.
- Katılımcılar arasında öğrenciler ve veri alanında tecrübeli kişiler bulunuyor.
- Sunum, anlatımdan sonra demo ile gerçekleştirilecek ve katılımcılar sorularını sorabilir veya tecrübelerini paylaşabilir.
- 01:12Sunucunun Tanıtımı
- Büşra Güner, Dekosel Bilişim'de veri mühendisi olarak görev alıyor ve yaklaşık sekiz yıldır sektörde iş zekası üzerine danışmanlık ve takım liderliği tecrübeleri var.
- Şu anda kısmi bir alan değişikliği ile veri analitiği ve istatistik lisanslı olmanın avantajını kullanarak veri bilimi alanında machine learning üzerine çalışmalar yapıyor.
- Veri alanındaki sorular için mail adresi (busra guner devkos.com, busra guner hotmail.com) veya LinkedIn üzerinden iletişime geçilebilir.
- 01:56Web Semineri Serisi
- Web seminerleri serisi 13 Ocak-1 Nisan arasında her Çarşamba farklı konular üzerinde etkinlikler düzenlenecek.
- Gelecek hafta veri kalitesini artırmakla ilgili, iki hafta sonra ise Sinaps konusu üzerinden daha derinlemesine bir etkinlik olacak.
- Mart ayında da etkinlikler devam edecek ve ilgi çekici konular sunulacak.
- 02:37Sunumun Ajandası
- Data leg ve data weas kavramlarının gelişim süreci anlatılacak.
- Azure Sinaps nedir, ne yapar, nerelerde kullanılır ve içerisindeki haplar (SQL Pool, Pul) hakkında bilgi verilecek.
- Modern veri mimarisi, SQL Pool ile dimensional model, şirket içi on prime verilerin Azure'a taşınması ve raporlama konuları ele alınacak.
- 03:27Azure Sinaps Analytics Hakkında
- Azure Sinaps Analytics, Azure analitik servisler içerisindeki en son hizmete sunulmuş olan servis olup geçen sene başladı.
- Bu yıl itibariyle tüm özelliklere ulaşılabilir durumda ve yeni nesil bir veri analitiği platformu olarak tanıtılıyor.
- Limitsiz ölçeklenebilir olması, veriyi taşımadan platform üzerinden sorgulamamızı sağlıyor olması ve veri ile alakalı tüm döngüyü uçtan uca yönetebiliyor olması öne çıkan özellikleri.
- 04:17Veri Yönetiminin Gelişimi
- Microsoft tüm geliştirmelerini müşterilerin ihtiyaçları ve geri bildirimleri doğrultusunda ilerletiyor.
- Analitik ve AI her sektörde önemli yatırım alanlarından biri olmasına rağmen, şirketlerin büyük çoğunluğu veriyi henüz efektif bir şekilde kullanmaktan uzak.
- Data silolarından bahsedilen veriler hala farklı yerlerde ve formatlarda bulunuyor.
- 05:32Veri Yönetim Mimarileri
- Son birkaç yılda data brics'te birçok müşteri ve kullanım senaryosunda ortaya çıkan bir veri yönetim şekli görüyoruz.
- Veri ambarları (structured veriler için iyi çözüm) artık büyük işletmelerin çeşitliliği hızlı, hacmi yüksek verilerle çalışmak zorunda olduğu için karşılayamaz durumda.
- Veri gölleri (transaction nakışını desteklememesi ve veri kalitesi eksiklikleri) ve esnek, yüksek performanslı sistemler (raporlama, gerçek zamanlı veri, veri bilimi, makine öğrenmesi) gelişmeye başladı.
- 07:40Azure Sinaps Analytics'in Amacı
- Azure Sinaps Analytics, veri analitik dünyasında ilişkisel verilerin olduğu veri ambarları ile big data dünyasını bir araya getirmeyi hedefliyor.
- Tüm verilerin depolanabileceği ve üzerinde analitik işlemlerin gerçekleştirilebileceği bir dünya hedefi var.
- Farklı servislerin güvenliğini sağlamak yerine tek bir servisin güvenliğini sağlamak ve know-how silolarını bir arada kullanmayı hedefliyor.
- 09:59Azure Sinaps Analytics'in Özellikleri
- Veri mühendisi ve veri bilimci olarak çalışan ekip arkadaşlarının tek bir platform üzerinden versiyonlarla çalışabilmesini sağlıyor.
- Sinaps, kurumsal veri ambarı için Spark'ın büyük velit yeteneklerini ve veri entegrasyon teknolojilerini bir araya getiriyor.
- Azure SQL Datawa servisinin yerine gelen, SQL ve Spark tool yetenekleri, data factory yetenekleri ve Power BI'ı bir araya getiren kapsamlı bir servis.
- 11:29Sinaps Studio ve Veri Depolama
- Sinaps Studio adı verilen arayüz üzerinden geliştirmeler yapılabiliyor.
- Sinaps gelen verileri sütun bazlı depolama ile ilişkisel olarak depoluyor.
- Bu format hem maliyet anlamında hem performans anlamında iyileştirme getiriyor.
- 11:59Azure SQL Pool Özellikleri
- Geleneksel veri tabanı sistemlerine göre SQL Pool'lar sorguları daha kısa sürede tamamlar ve maliyet açısından iyileşme sağlar.
- SQL Pool'lar içerisinde provisiont ve on demand iki seçeneği bulunur, bunlar serverless olarak da geçer.
- Dedicated kısmında sürekli ücretlendirme olurken, serverless modelinde sadece veri erişimi için çalıştırılan sorgular için işlenen veri kadar ücretlendirilir.
- 12:59Azure SQL Pool Kullanımı
- Studio üzerinden Apache Spark bağlantısı oluşturulabilir ve veri hazırlığı, temizleme, zenginleştirme işlemleri Python ile gerçekleştirilebilir.
- Şirket hesapları üzerinden Azure Snap sayfasına giriş yapılarak ücretsiz deneme tanımı yapılabilir, bu 1440 liralık kredi 30 gün boyunca kullanılabilir.
- İlk adımda Azure üzerinde bir Snap workspace oluşturmak gerekir, bu işlem için resource grup, workspace ismi, bölge, account name ve file system isimleri belirlenir.
- 15:45Snap Studio Arayüzü
- Workspace oluştuğunda Snap Studio açılır, bu arayüz Azure Data Studio'ya benzer ve veri ambarı veya makine öğrenimi projelerinde kullanılacak tüm adımları içerir.
- Sol tarafta bulunan menü üzerinden Data Hub'a, pipeline'lara ve development ortamlarına erişim sağlanır.
- Managed Hub kısmında var olan tüm kaynaklar görüntülenebilir, isimlendirmeler Microsoft'un cilveleri nedeniyle değişebilir.
- 17:17Veri Hub ve Pool'lar
- Veri ambarı projesinde öncelikle dataları alıp store etmeye başlanır, bunun için Data Hub'a girilir.
- Workspace oluşturulduğunda serverless olarak tanımlanan ancak performans sunmayan sadece testler için kullanılabilen bir sunucu gelir.
- Dilersek özel kapasitesi yüksek, istediğimiz konfigürasyonlarda yeni SQL Poollar veya Spark Poollar oluşturabiliriz.
- 19:55Geliştirme ve Görselleştirme
- Develop Hub kısmı veri ile alakalı kısımdan sonra geçiş yapılan geliştirme kısmını içerir, burada SQL scriptleri ile analiz yapılır, notebook dosyaları ile çalışılır ve data flow'lar tanımlanır.
- Son adımda görselleştirme için Power BI kullanılır, böylece baştan sona bir veri ambarı projesine ihtiyacımız olan adımlar tek bir arayüz üzerinden gerçekleştirilir.
- Manage Hub kısmı Snap içerisinde bağlanacağımız veri kaynaklarının tanımını gösterir, burada SAP, Salesforce gibi farklı ortamlara erişim imkanı sağlayan konnektörler bulunur.
- 22:57Azure Veri Ambarı Mimarisi
- Azure'da bir veri ambarı mimarisi normal şartlarda birden çok ürün (Spark, Data Factory) ve ayrı DB'ler içerirken, Snap tüm bunları tek bir çatı altında toplar.
- Data Factory'ye eşlenik olan pipeline kısmı, veri platformu olan SnapSQL, data bricks'in yerini alan SnapSpark ve görselleştirme olarak Power BI aynı alanda konumlanmış durumda.
- Tüm bu ürünler data lake'in üzerine konumlandırılır ve kaynaklardan alınan veri block store'a alınır, Snap üzerinde konumlandırılır ve istenirse araya modelleme konulabilir.
- 24:46Azure'da Integration Runtime Kurulumu
- Her uygulama için lokal ile iletişime geçecek bir integration runtime kurulumu gereklidir.
- Azure'da integration runtime kurulumu Mana-up üzerinden sadece isimlendirme yaparak yapılabilir.
- Express setup indirildiğinde herhangi bir key girmenize gerek kalmadan otomatik olarak kurulum yapılır ve Azure ile lokal arasında iletişim sağlanır.
- 25:43Demo Planı
- Demo'da öncelikle lokalden SQL dedicated pool'a veri aktarımı yapılacak.
- SQL pool'dan RAMbar'a geçiş yapılacak.
- Power BI içerisinde modelleme ve raporlama yapılacak.
- 26:26Azure Data Hub Arayüzü
- Azure Data Hub açıldığında Open Snap Studio kısmından Snap'ın kendi arayüzüne erişilir.
- Arayüzde veri aktarımı, analizler, görselleştirme ve machine learning çalışmalarının yapılabileceği gösterilir.
- Data Hub kısmında daha önceden oluşturulan dedicated SQL, serverless SQL ve Spark tool'u bulunur.
- 27:56Lokal Veriyi Çekme İşlemi
- Lokal veriyi çekmek için "Integrate" kısmından "Copy Data Tool" seçeneği kullanılır.
- "Copy Pipeline Staging" seçeneği ile staging verisi çekilebilir ve "Run Once" seçeneği ile tek seferlik çalıştırılabilir.
- Lokal SQL veritabanına bağlantı için "Create New Connection" seçeneği ile SQL Authentication bilgileri girilir.
- 30:27Veri Aktarımı ve Mapping
- Lokal AdventureWorks 2019 tablolarından production product, sales territory, sales order header ve detail tabloları seçilir.
- Veriler SQL pool'a aktarılırken, tablolar otomatik olarak oluşturulur ve mapping ekranı görüntülenir.
- Mapping ekranında yeni kolonlar oluşturulabilir ve veri aktarımında paralellik ve hata ayarları yapılabilir.
- 33:39DWH Pool Oluşturma
- Veri ambarını oluşturmak için farklı bir DWH pool oluşturulması önerilir.
- DWH pool oluşturmak için "Data" kısmında artı simgesine tıklanır ve SQL database seçeneği kullanılır.
- DWH pool kurulumu Azure'da zaman alabilir, bu nedenle demo sırasında tüm işlemler tamamlanmaz.
- 37:47Staging'den DWH'a Veri Aktarımı
- Staging'den DWH'a veri aktarımı için tekrar "Copy Data Tool" kullanılır.
- Tablolar dimensionlara ve fact'lere ayrılarak DWH pool'a aktarılır.
- Mapping ekranında kolon ekleme ve performans ayarları yapılabilir.
- 39:06Veri Aktarımı Teknikleri
- Azure Data Factory (Snap) kullanılarak veri aktarımı yapılıyor, ancak farklı teknikler de kullanılabilir.
- PowerShell, Ezi Copy, Polybase Engine ve Copy Statement gibi farklı veri aktarım yöntemleri mevcuttur.
- Bir sonraki eğitimde farklı tekniklerle veri aktarımı ve performans elde etme konuları ele alınacaktır.
- 40:49Power BI Bağlantısı
- Power BI erişimi için Manage kısmından Link Services'e giderek bağlantı kurulabilir.
- Bağlantı kurulduktan sonra Develop alanında Power BI, datasetler ve raporlar görüntülenebilir.
- Var olan pool'a bağlanmak için Power BI Desktop indirilebilir ve SQL Server Management Studio üzerinden de bağlantı kurulabilir.
- 43:33Power BI Desktop Kullanımı
- Power BI Desktop'ta tablolar import edilerek modelleme yapılabilir.
- Modelleme sırasında tablolar arasında ilişkiler kurulabilir.
- Raporlama için ölçüler oluşturulabilir ve grafikler eklenebilir.
- 47:10Rapor Yayınlama ve Düzenleme
- Oluşturulan raporlar tenant üzerinden workspace'e publish edilebilir.
- Yayınlanan raporlar Power BI portalda görüntülenebilir.
- Power BI Portal ve Power BI Desktop arasında bağlantı olduğundan, bir yerde yapılan değişiklikler diğerinde de otomatik olarak yansır.