Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, bir eğitmen tarafından sunulan Apache Spark SQL konulu bir eğitim içeriğidir. Eğitmen, Jupyter Notebook ortamında Python kullanarak konuları uygulamalı olarak anlatmaktadır.
- Video, Apache Spark SQL'in temel kavramlarını kapsamaktadır. İçerikte Spark Context ve Spark Station'ın oluşturulması, veri setlerinin import edilmesi (reload ve özel import yöntemleri), show ve print metodları, şema görüntüleme, select ve filter metotları, grup by işlemi, data frame create, join işlemi, create or replace tempview ve global tempview kullanımı, SQL sorgularının çalıştırılması ve parkeci formatlarının import edilmesi gibi konular ele alınmaktadır. Eğitmen, her konuyu slayt üzerinden açıkladıktan sonra Jupyter Notebook üzerinde uygulamalı örneklerle pekiştirmektedir.
- 00:00Apache Spark SQL Giriş
- Apache Spark SQL konusu Python ile geliştirilecek ve Jupyter Notebook ortamı kullanılacak.
- İçerik olarak Spark context, dataset import, show/print, şema, select, group by, data frame create, join, create or replace tempview, global tempview ve SQL formatları ele alınacak.
- 00:42Spark Context ve Veri Seti Import
- Spark context ve Spark station import edilerek çalıştırılabilir.
- Veri setini import etmek için iki yöntem vardır: reload yöntemi ile her türlü dosya formatı import edilebilir veya özel formatlar için format parametresi kullanılabilir.
- Veri setinin sütunlarının nasıl ayrıldığı (boşluk, iki nokta, noktalı virgül, normal virgül) belirtilmelidir.
- 02:32Veri Seti Gösterme ve Şema
- Import edilen veri setinin gösterilmesi show metodu ile gerçekleştirilir.
- Veri setinin sütunlarının özelliklerini görmek için şema kullanılır.
- Şema ile veri setindeki sütunların türleri (string, integer vb.) görülebilir.
- 03:18Select ve Filter Metotları
- Select metoduyla seçilen özel bir özelliğe ait veriler getirilebilir.
- Çoklu seçim için birden fazla sütun seçilebilir.
- Filter metoduyla veriler filtrelenerek sorgulama minimize edilebilir ve daha hızlı sonuçlar alınabilir.
- 04:56Grup By ve Data Frame Create
- Grup by metoduyla belirlenen sütuna göre gruplama yapılabilir.
- Data frame create metoduyla yeni bir dataframe oluşturulabilir.
- Oluşturulan dataframe show metoduyla gösterilebilir.
- 05:48Join İşlemi
- Join işlemi ile iki dataframe birleştirilebilir.
- Join işleminde bir dataframein bir sütunu ile diğer dataframein bir sütunu eşleştirilerek birleştirme yapılır.
- 06:36SQL Sorguları ve Geçici Görünümler
- SQL sorgularını çalıştırmak için create or replace tempview veya global tempview kullanılmalıdır.
- SQL sorgularının sonucu bir dataframe olarak döndürülür.
- Global tempview, Spark uygulaması sona erene kadar canlı tutulan genel bir geçici görünüm oluşturur.
- 08:07Spark SQL Formatlarının Import Edilmesi
- CSV formatı gibi farklı dosya formatları Spark formatına dönüştürülebilir.
- Dönüştürülen Spark formatı tekrar uygulamaya import edilebilir.