Buradasın
Python ile Halk Yatırım Skor Kartı Bilgilerini Çekme Eğitimi
youtube.com/watch?v=Imd8naEKwCwYapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, bir eğitmen tarafından sunulan Python programlama dili eğitim serisinin bir parçasıdır. Eğitmen, izleyicilerden gelen soruya cevap olarak Halk Yatırım sitesinden skor kartı bilgilerini nasıl toplayabileceğimizi anlatmaktadır.
- Video, Python ile veri kazıma tekniklerini adım adım göstermektedir. İçerik, Selenium ve BeautifulSoup kütüphanelerinin kullanımı, hisse senedi kodlarının çekilmesi, Halk Yatırım sitesine erişim sağlanması ve otomatik işlem yapma süreçlerini kapsamaktadır. Eğitmen, "site" adlı bir fonksiyon oluşturarak Chrome tarayıcısını açıp Halk Yatırım veya İş Yatırım sitesine erişim sağlama, açılır pencereye erişim sağlama, elementleri bulma ve tıklama işlemleri gibi konuları detaylı şekilde anlatmaktadır.
- Videoda ayrıca request ve BeautifulSoup kütüphanelerinin kullanımı, select etiketlerini bulma, options gruplarını işleme, USB ve Bluetooth driverları ile ilgili hataları gizleme yöntemleri de gösterilmektedir. Video, bir serinin parçası olup, bir sonraki bölümde devam edeceği belirtilmektedir.
- 00:02Python ile Veri Kazıma Eğitimine Giriş
- Python ile projeler eğitimine kaldığı yerden devam ediliyor ve önceki videolarda iş yatırım sitesinden toplu bilanço çekme konusu ele alınmıştı.
- Bu videoda Halk Yatırım sitesinden skor kart kısımdaki bilgileri toplama sistemi kurulacak.
- Python temel eğitimi bitirildikten sonra veri kazıma sistemi öğrenilmeli, çünkü işleyişin nasıl geliştirilebileceği hakkında bilgi vermek daha faydalı.
- 02:26Veri Kazıma Yöntemleri
- Her sitenin yapısı birbirinden farklı olduğu için her sitede aynı yöntemle bilgiler çekilemeyebilir.
- En çok kullanılan kütüphanelerden biri BeautifulSoup kütüphanesidir ve site yapısının arka planındaki sayfa kaynağını görüntülemeyi sağlar.
- Bazı siteler arka planında JavaScript kodları çalıştırdığı için, sayfa kaynağını görüntülemek yeterli olmayabilir, bu durumda Selenium kütüphanesi ile siteye erişim sağlanmalı.
- 04:39Selenium Kütüphanesi
- Selenium kütüphanesi bir otomasyon kütüphanesidir ve bilgisayara işlemleri bildirdiğinizde bilgisayar kendi içerisinde bir bot sistemi oluşturarak yönlendirmeniz sonucunda işlem yapar.
- Hangi tarayıcı kullanılıyorsa o tarayıcının Selenium driver'ı indirilmelidir.
- Chrome driver'ı indirirken, Chrome sürümüyle uyumlu olması önemlidir, aksi takdirde işlemlerde hata alınabilir.
- 07:23Sistem Çalışma Prensibi
- Sistem, Selenium üzerinden hisse bilgisi göndererek Halk Yatırım skor kartını açacak ve gerekli hisseyi seçecektir.
- Hisseyi seçtikten sonra o hisseye ait bilgilerin bulunduğu sayfa kaynak bilgilerini getirecek ve BeautifulSoup ile pars ederek gerekli tabloları çekebilecektir.
- Hisselerin isimleri ve kodları gereklidir çünkü Halk Yatırım sitesinde seçim yapısının içerisinde valyo değerleri (kısaltmalar) kullanılır.
- 09:56Hisse Kodlarının Çekilmesi
- İş Yatırım sitesinden hisse kodları çekilerek, Halk Yatırım sitesindeki bilgilere erişim sağlanacaktır.
- Borsaya kote olmuş hisse senetlerinin kodları her yerde aynıdır.
- İş Yatırım sitesinde tüm hisse senetlerinin olduğu alan sayfa kaynağında bulunabilir ve buradan valyo değerleri alınabilir.
- 11:49Veri Çekme İşlemi
- Request ve BeautifulSoup kütüphaneleri kullanılarak hisse kodlarını çekmek için bir URL oluşturuluyor.
- Request.get fonksiyonu ile belirtilen URL'ye talep gönderiliyor ve BeautifulSoup ile sayfa kaynağının tamamı çekiliyor.
- HTML yapıları birbirinin altına olacak şekilde ilerler ve veri çekme işlemi için id'si olan yapılar tercih ediliyor.
- 14:06Veri İşleme
- BeautifulSoup ile select etiketi ve id'si belirtilen yapı çağrılıyor.
- Seçilen select etiketi altında iki options grubu bulunuyor: "Hisseler" ve "İç Piyasalar".
- Find fonksiyonu ile ilk options grubu yakalanıyor, birden fazla options grubu varsa find all ile tüm gruplar alınmalı.
- 17:10Veri Çekme ve Listeleme
- Options etiketlerine erişim sağlamak için find all kullanılıyor.
- For döngüsü ile options etiketleri dolaşılıyor ve her birinin text bilgisi alınıyor.
- Hisseler isimli bir liste oluşturulup, tüm hisselerin kodları bu listeye ekleniyor.
- 19:33Selenium Kütüphanesi Kullanımı
- Selenium kütüphanesi kullanılarak Chrome için driver indirilip pip ediliyor.
- Selenium'dan web driver, select ve by yapıları import ediliyor.
- Time kütüphanesinden sleep fonksiyonu kullanılarak sitenin bilgilerinin yüklenmesi için bekleme süreleri veriliyor.
- 22:41Selenium ile Site Açma Fonksiyonu
- Fonksiyonel yapıyla çalışmak idealdir ve "site" adında bir fonksiyon oluşturuluyor.
- Bu fonksiyon Selenium kullanarak siteyi açacak ve son bilgileri getirmeye çalışacak.
- WebDriver kullanılarak Chrome sürücüsü çağrılıyor ve "site" fonksiyonu çalıştırılarak site açılıyor.
- 24:35Site Açma Sürecini Kontrol Etme
- Time.sleep() fonksiyonu kullanılarak site 10 saniye açık bırakılabilir ve sonra kapatılabilir.
- Selenium'da USB ve Bluetooth driverları ile ilgili hatalar oluşabilir, bunları gizlemek için ChromeOptions kullanılır.
- Options.setExclusionSwitches("enable-login") parametresi ile Bluetooth ve USB driverları ile ilgili hatalar gizlenebilir.
- 27:12Açılır Pencereye Erişim Sağlama
- Siteye erişim sağlandıktan sonra açılır pencere kısmına erişim sağlanmalı.
- Chrome.findElement() fonksiyonu kullanılarak açılır pencerenin XPPath değeri alınır.
- XPPath değeri iki tırnak içerisine alınarak açılır pencereye erişim sağlanır ve click() fonksiyonu ile açılır pencere açılır.
- 31:50Hisse Seçimi ve İşlem Yapma
- Açılır pencerede hisse seçildiğinde, seçilen hissenin valyu değerleri görüntülenir.
- Seçilen hisse için "s" adında bir değişken oluşturulur ve s.selectByValue() fonksiyonu kullanılarak hisse seçilir.
- Seçilen hisse için işlem yapıldıktan sonra site 10 saniye bekletilir ve kapatılır.
- 33:39Python ile Web Otomasyonu
- Kullanıcı halk yatırım skor kart sayfasını açarak açılır pencere üzerinden işlem gerçekleştirecek.
- Kullanıcı "avut" ismini vali olarak atıldığında "A Gıda ve Tarım" seçeneğini seçecek.
- Kullanıcı sayfanın yüklenmesini bekleyip kapatma işlemini gerçekleştirecek.
- 34:09Fonksiyon Oluşturma
- Driver yapısı bir fonksiyon olarak oluşturulmuş ve "return driver" ile döndürülmüş.
- Driver içerisinden kaynak kodlarına erişim sağlanacak ve farklı fonksiyonlar içerisinde kullanılacak.
- Kullanıcı hisse ismini girecek, Python bu değeri valo değeri olarak gönderecek ve seçilen sayfaya erişim sağlanacak.
- 35:46Video Kapanışı
- Videonun ilk bölümü burada bitirilecek.
- Bir sonraki videoda tüm hızla devam edilecek.