Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, Dr. Öğretim Üyesi Caner Erden tarafından sunulan bir veri madenciliği eğitim dersidir. Sakarya Uygulamalı Bilimler Üniversitesi'nde görev yapan eğitmen, yaklaşık sekiz yıllık tecrübesiyle veri madenciliği konusunu detaylı bir şekilde anlatmaktadır.
- Video, veri madenciliği dersinin tanıtımı ve kurallarıyla başlayıp, Python programlama dilinin kullanımı, Jupyter Notebook kurulumu ve temel Python kütüphaneleri (NumPy, Pandas, SciKit-Learn, SciPy ve Matplotlib) hakkında bilgiler sunmaktadır. Daha sonra veri madenciliğinin tanımı, büyük veri, veri analitiği gibi ilgili kavramlar ve veri madenciliğinin temel aşamaları (veri edinme, ön işleme, özellik belirleme ve sonuç yorumlama) açıklanmaktadır.
- Videoda ayrıca veri madenciliğinin pratik uygulamaları (market sepet analizi, müşteri segmentasyonu, kredi skorlaması ve döküman madenciliği) örneklerle anlatılmakta ve veri ön işleme konusunun bir sonraki derste işleneceği belirtilmektedir. Ders materyallerinin Google Class üzerinden paylaşılacağı ve değerlendirme sistemi hakkında da bilgiler verilmektedir.
- 00:01Dersin Öğretmeni ve Özgeçmiş
- Caner Erden, doktora öğretim üyesi olarak yaklaşık sekiz senedir Sakarya Üniversitesi'nde görev yapmaktadır.
- 2010 yılında İstanbul Ticaret Üniversitesi Endüstri Mühendisliği bölümünden mezun olmuş, yüksek lisansını İstanbul Üniversitesi'nde, doktorasını ise Sakarya Üniversitesi'nde tamamlamıştır.
- Yüksek lisans tezinde yaklaşık 70 bin kaza verisinden anlamlı bilgiler ortaya çıkarmak için kaba kümeler teorisini kullanmış, doktora tezinde ise makine çizelgelemesi, proses planlaması ve teslim tarihi belirlemenin entegrasyonu üzerine çalışmıştır.
- 01:10Dersin Tanıtımı ve İletişim
- Dersin temel kavramları ve nasıl işleneceği hakkında bilgi verilecektir.
- Geçen dönemki ders notları, slaytları ve videoları canererdenc.com adresinden ulaşılabilir.
- Bu dönemki materyaller Google Class üzerinden paylaşılacak ve sınavlar, duyurular ve performans ödevleri bu platform üzerinden gerçekleştirilecektir.
- 02:39Dersin Çalışma Yöntemi
- Ders interaktif bir şekilde işlenecek ve öğrencilerle birlikte ilerlenecektir.
- Dersleri canlı katılmak önerilir, ancak izleyenlerin de kendileri deneyerek ilerlemeleri gerekmektedir.
- Veri madenciliği uygulamaları sadece dinlemeyle değil, yaparak öğrenilebilir.
- 03:17Öğrencilerle Tanışma
- Öğrencilerden kodlama bilgisi, mezuniyet sonrası çalışmak istedikleri sektör, istatistik ve matematik bilgileri, makine öğrenmesi deneyimi ve programlama bilgisi hakkında bilgi istenmektedir.
- Öğrenciler bu bilgileri chat alanına yazarak paylaşabilirler.
- 04:58Dersin Değerlendirme Sistemi
- Dersin değerlendirmesi bir adet uzaktan vize sınavı (60-90 dakikalık) ve final sınavı şeklinde olacak.
- Final sınavı performans ödevi şeklinde olacak ve sunumlar YouTube üzerinden gerçekleştirilecektir.
- Performans ödevi, baştan sona taslama bir veri madenciliği uygulaması olacak ve en fazla üç kişilik gruplarla çalışılabilir.
- 07:20Performans Ödevi Detayları
- Ödevin konusu öğrencilerin ilgi duyduğu herhangi bir alanda olabilir (trafik kazaları, futbol, otomobil sektörü, emlak sektörü gibi).
- Kullanılacak metotlar regresyon analizi, kural tabanlı sınıflandırıcı, sınıflandırma algoritmaları, kümeleme algoritmaları, nitelik indirgeme, yapay sinir ağları olabilir.
- Alternatif olarak Kaggle tipi bir yarışmaya katılarak en az ortalama bir derece almak da performans ödevi olarak kabul edilecektir.
- 09:57Veri Madenciliği Dersi ve Python
- Derste veri madenciliği yarışmalarına katılarak çözümler sunulabilir ve bu çözümler değerlendirilir.
- Dersde Python programlama dilini kullanarak veri setlerinden anlamlı bilgiler çıkarılacaktır.
- Dersten iyi bir not almak için çözümlerin iyileştirilmesi gerekir.
- 11:09Python'ın Seçimi ve Amacı
- Python şu anda en çok kullanılan ve tercih edilen programlama dillerinden biridir.
- Python'un yazılması, okunması ve kod geliştirmesi kolay bir dil olması nedeniyle tercih edilmektedir.
- Dersin amacı bilgisayar programlamayı kapsamlı şekilde öğretmek değil, veri madenciliği uygulamaları geliştirmeyi sağlamaktır.
- 12:33Gerekli Yazılımlar
- Derste Anakonda programı, Jupyter Notebook ve Spyder environment kullanılacaktır.
- Anakonda yükledikten sonra Jupyter Notebook ve Spyder otomatik olarak kurulacaktır.
- Alternatif olarak online Jupyter Notebook, Google Colab veya Spider gibi ortamlar da kullanılabilir.
- 15:29Jupyter Notebook Kullanımı
- Anakonda kurulduktan sonra başlat menüsünden Anakonda3 klasörüne erişilebilir.
- Jupyter Notebook başlatıldığında önce bir CMD ekranı açılır, sonra Chrome sekmesi şeklinde Jupyter Notebook görünür.
- Jupyter Notebook'ta yeni bir klasör oluşturulabilir ve içinde Python kodları geliştirilebilir.
- 18:42Jupyter Notebook Özellikleri
- Jupyter Notebook'ta menüler, kod hücreleri ve kısayollar bulunmaktadır.
- Jupyter Notebook hem kod geliştirme ekranı olarak hem de bilgiler yazılabilen bir ortam olarak kullanılabilir.
- Jupyter Notebook'ta başlık, yazı, italik, kalın yazı ve liste oluşturmak gibi Word benzeri özellikler bulunmaktadır.
- 20:34Jupyter Notebook Kullanımı
- Jupyter Notebook'ta hücrelerde kod yazılır ve çalıştırmak için "Run" seçeneği tıklanır veya Shift+Enter tuş kombinasyonu kullanılır.
- Yeşil renkli hücrelerde kod yazılabilirken, mavi renkli hücrelerde kısayollar kullanılabilir.
- Mavi renkli hücrelerde A tuşu ile yukarıya, B tuşu ile aşağıya hücre eklenebilir, D tuşu iki kez basıldığında hücre silinir, Enter tuşu ile hücre düzenlenebilir, çift Enter ile hücre çalıştırılır.
- 22:41Jupyter Notebook'da Not Almak
- Jupyter Notebook'ta not almak için hücre tipini "Markdown" olarak değiştirmek gerekir.
- Markdown'da başlık eklemek için # işareti kullanılır, koyu yazı için **yıldız**, italik yazı için _alt çizgi_ kullanılır.
- Liste oluşturmak için nokta veya çizgi kullanılır, link eklemek için köşeli parantez içinde link yazılır.
- 26:31Veri Madenciliği İçin Kullanılan Paketler
- Veri madenciliği uygulamaları geliştirmek için beş temel paket kullanılır: NumPy, Pandas, SciKit-Learn, SciPy ve Matplotlib.
- NumPy, bilimsel hesaplamalar için geliştirilmiş temel bir pakettir ve matris ve dizi hesaplamaları yapabilir.
- Matplotlib, verileri görselleştirmek için kullanılan grafik çizdirme paketidir.
- SciPy, istatistiksel analizler için geliştirilmiş bir kütüphanedir.
- SciKit-Learn, makine öğrenmesi uygulamaları için geliştirilmiş temel bir pakettir ve sınıflandırma, regresyon, kümeleme ve boyut azaltma gibi işlemler için kullanılır.
- Pandas, tablolar üzerinde çalışmak için kullanılan ve veri ön işlemede tercih edilen bir pakettir.
- 30:51Ders Kitabı ve Kaynaklar
- Ders kitabı olarak "Introduction to" adlı kitap kullanılacak ve bu kitabın notları, slaytları ve uygulamaları ücretsiz internette bulunabilir.
- Ders sunumları genellikle bu kitap üzerinden çıkartılacak ve ana kaynak olarak bu kitap kullanılacaktır.
- Kaynaklar açısından İngilizce kaynaklar tercih edilmekte çünkü Türkçe kaynaklarda kapsam darlığı olabilir, ancak Türkçe kitap isteyenler için altıncı sırada bir Türkçe kitap da mevcuttur.
- 32:32Ders Beklentileri
- Derse zamanında ve hazırlıklı gelmeniz, bir hafta önceden hangi derslerin işleneceğini bilmek ve öğrenmeye istekli gelmeniz beklenmektedir.
- Ders interaktif olacak, kodları geliştireceksiniz ve takıldığınız yerlerde birlikte ilerleyeceksiniz.
- Bu dersi başarıyla tamamlamak için haftada en az üç-dört saat ayırmak gerekmektedir.
- 34:17Veri Madenciliği Tanımı
- Veri madenciliği, veritabanlarından bilgi keşfi olarak tanımlanır ve binlerce satır veriden anlamlı bilgi elde etmeye çalışır.
- Veri madenciliği, istatistik, veritabanı, makine öğrenmesi, yapay zeka ve örüntü tanıma gibi birçok disiplinle iç içe geçmiş bir alan olarak görülür.
- Veri madenciliği son otuz-kırk yılda önemli bir alan olarak karşımıza çıkmış, "yeni petrol kaynağı" olarak adlandırılmakta ve bilgisayar bilimleri altında veri bilimi (data science) kavramının bir parçasıdır.
- 39:16Veri Madenciliğinde Veriler
- Veri madenciliğinde veri, çalışmanın girdi değişkeni olarak hammadde gibi düşünülür ve veriler değişik şekillerde olabilir (Excel tablosu, görüntü, video).
- Yapısal olmayan veriler (örneğin resim dosyaları) nümerik, kategorik, ikili, metinsel veya ilişkisel hale dönüştürülebilir.
- Veri madenciliğinde yapısal verilerle ilgilenilir ve yapısal olmayan verileri yapısal hale dönüştürmeye çalışılır.
- 41:05Büyük Veri ve Veri Analitiği Kavramları
- Büyük veri, sürekli boyutu artan ve yüksek hacimler kaplayan, birden fazla kaynaktan beslenen verilerdir.
- Veri bilimi, büyük bir çerçevedir ve içerisinde makine öğrenmesi, yapay zeka uygulamaları ve veri analitiği bulunmaktadır.
- Veri analitiği, verilerden yola çıkarak sonuç elde etme ve neden-sonuç ilişkisini ortaya koyma çalışmalarıdır.
- 42:26İş Analitiği ve Veri Ambarları
- İş analitiği, veri analitiğinin bir parçasıdır ve şirketlere fayda sağlayacak çalışmaların sınıflandırılmasıdır.
- İş zekası, Microsoft'un geliştirdiği Power BI programı ile şirket veri ambarından verileri çekerek bilgiler ve raporlar oluşturma sürecidir.
- Veri ambarları, büyük veri depolarıdır ve verilerin kaybolmaması, güvenli tutulması ve yedeklenmesi için yönetim gerektirir.
- 43:42Veritabanı ve Veri Madenciliği
- Veri madenciliği, büyük miktarda veri içeren, gelecekle ilgili tahmin yapmamızı sağlayan bağıntı ve kuralların aranmasıdır.
- Veritabanı analizleri, filtreleme gibi basit uygulamalarla var olan verileri ortaya çıkarmak için kullanılırken, veri madenciliği analiz ve çıkarım yaparak anlamlı bilgiler ortaya koymaktadır.
- Veri madenciliği, verilerin kullanılabilir hale dönüştürülmesi ve şirketlerin karar alma süreçlerinde veriye dayalı kararlar vermesi için önemlidir.
- 49:04Veri Madenciliğinde Kullanılan Araçlar ve Yöntemler
- OLAP küpleri, üç boyutlu veritabanları olarak düşünülebilir ve aynı anda üç bilgiye ulaşma imkanı sağlar.
- Veri madenciliğinde sınıflandırma, regresyon analizi, kümeleme, özet bilgi çıkarma, veri analizi ve birliktelik analizi gibi yöntemler kullanılır.
- Veri madenciliği çalışmalarında önce veritabanından bilgi çekilir, sonra uygun analiz metodu seçilir ve sonuçlar elde edilir.
- 51:09Veri Madenciliğinde Adımlar
- Veri madenciliğinde ilk adım veritabanından bilgi çekmek ve veriyi elde etmektir.
- Elde edilen ham veriyi kullanmadan önce veri ön işleme adımı gereklidir, bu aşamada gürültülü, tekrar eden veya aykırı veriler temizlenir.
- Ön işleme sonrası hangi verinin hangi özelliğinin daha önemli olduğu belirlenir ve elde edilen sonuçlar yorumlanarak bilgi çıkarılır.
- 52:28Veri Madenciliği Örnekleri
- Birliktelik kuralları ve market analizi (basket market baskısı/sepet analizi) veri madenciliğinin önemli uygulamalarından biridir.
- Sınıflandırma analizi ile belirli grupların (genç kadınlar, yaşlı zengin erkekler) hangi ürünlerin daha çok satın alındığı tespit edilebilir.
- Regresyon analizi ile kredi skorlaması yapılabilir, zaman içinde sıralı örüntüler bulunabilir, döküman madenciliği ile benzer dökümanlar tespit edilebilir.