Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, bir eğitmen tarafından sunulan karar ağaçları ve entropi konularını içeren kapsamlı bir eğitim dersidir.
- Video, karar ağaçlarının temel yapısı ve çalışma prensipleriyle başlayıp, banka müşterisi örneği üzerinden karar ağacı oluşturma sürecini göstermektedir. Ardından Hantal (C4.5) algoritması detaylı olarak anlatılmakta ve entropi kavramı fizikten örneklerle açıklanmaktadır. Son bölümde ise entropi hesaplamaları yapılarak hangi özelliğin karar ağacında ilk dallanma noktası olarak seçileceği gösterilmektedir.
- Eğitim içeriğinde karar ağaçlarının avantajları ve dezavantajları, entropi kavramının belirsizliğin ölçüsü olarak tanımlanması, olasılık dağılımları üzerinden entropi hesaplamaları ve "information game" (bilgi kazanımı) konuları da ele alınmaktadır. Video, hava durumu, nem, sıcaklık ve rüzgar gibi özellikler üzerinden entropi hesaplamalarını yaparak hangi özelliğin karar ağacında ilk dallanma noktası olarak seçileceğini açıklamaktadır.
- 00:01Karar Ağaçları ile Sınıflandırma
- Bu derste karar ağaçları ile sınıflandırma konusu ele alınacak.
- Önceki derslerde veri madenciliği giriş, Python'daki veri madenciliği paketleri ve makine öğrenmesi kavramları (lineer ve lojistik regresyon) işlenmiş.
- Karar ağaçları, yukarıdan aşağıya doğru okunabilen akış şemalarına benzer yapıdadır.
- 00:51Karar Ağaçlarının Yapısı
- Karar ağaçları, if-else kuralları kullanarak yukarıdan aşağıya doğru okunan yapıları temsil eder.
- Her bir nitelik bir düğüm tarafından temsil edilir ve bu yapılar ağaç tabanlı öğrenme algoritmaları olarak da adlandırılır.
- Karar ağaçları en çok kullanılan gözetimli öğrenme algoritmalarından biridir ve sınıflandırma algoritmalarından biridir.
- 02:12Ağaç Yapısının Bileşenleri
- Karar ağacının en tepesinde kök düğüm bulunur (İngilizce'de "root" olarak adlandırılır).
- Kök düğüm belirlendikten sonra karar ağacı dallanmaya başlar ve kök düğümünün seçim karar ağacının verimliliğini doğrudan etkiler.
- Dallanma bittiğinde, yeni dal ortaya çıkmayacak noktalara yaprak (İngilizce'de "leaf") adı verilir.
- 04:02Karar Ağaçlarının Avantajları ve Dezavantajları
- Karar ağaçları yukarıdan aşağıya doğru okunabilen, yorumlanabilen ve herkesin anlayabileceği basit bir yapıya sahiptir.
- Özellikle lineer olmayan ilişkileri yakalama yeteneği avantajını taşır.
- Dezavantaj olarak genellikle kategorik verilerle çalışır ve sürekli verileri kesikli hale getirmek gerekir.
- Diğer bir dezavantaj olarak over-fitting (fazla öğrenme veya ezberleme) riski yüksektir.
- 07:16Karar Ağaçları Örneği
- Bir örnek veri setinde, banka müşterilerinin ev sahibi olup olmadığı, medeni hali, geliri ve banka kredi alıp almadığı sorgulanmıştır.
- Veri setindeki özellikler genellikle kategorik verilerden oluşur, sürekli veriler (gelir/maaş) kategorik hale getirilmelidir.
- Karar ağacı, tabloda ortaya çıkan sonuçları özetleyen bir yapıdır ve yukarıdan aşağıya doğru okunabilir.
- 10:12Karar Ağacı Oluşturma
- Ev sahipliği değişkenine göre veriler incelendiğinde, ev sahipliği "evet" olan tüm verilerin kredi sonucu "hayır" olarak çıkmış, bu nedenle ev sahipliği "evet" olduğunda kredi verilmeyeceğine karar verilebilir.
- Ev sahipliği "hayır" olan verilerde, medeni hal değişkenine göre dallanma yapılmış ve evli kişilerin tümünün kredi sonucu "hayır" olarak çıkmış.
- Medeni hal bekar veya boşanmış olan verilerde, maaş değişkenine göre yeniden dallanma yapılmış; 80 bin TL'den fazla maaş alanların kredi sonucu "evet", 80 bin TL'den az maaş alanların ise kredi sonucu "hayır" olarak belirlenmiş.
- 16:16Karar Ağacının Kullanımı
- Oluşturulan karar ağacı, yeni verileri sınıflandırmak için kullanılabilir.
- Test verisi için ev sahipliği "hayır", medeni hal "evli" olduğu için karar ağacında sağ tarafta "hayır" sonucuna ulaşılır.
- Karar ağacı oluştururken, kök düğümü belirlemek önemli bir aşamadır ve bunun için farklı yaklaşımlar kullanılabilir.
- 18:57Karar Ağacı Oluşturma Yöntemleri
- Karar ağacı oluşturma için entropiye dayalı algoritmalar kullanılabilir, her dallanma adımı sırasında özelliklerin entropisi ölçülerek yeni dallanmalar belirlenir.
- Sınıflandırma ve regresyon analizlerini kullanan CART algoritmaları da kullanılabilir.
- Bellek tabanlı sınıflandırma algoritmaları da karar ağacı oluşturma için kullanılabilir.
- 20:00Hantal Algoritması
- Hantal algoritması, hem regresyon hem sınıflandırma için kullanılan bir algoritmadır.
- Algoritma, veri setindeki düğümleri yaprak olana kadar dallanma yaparak sınıflandırma yapar.
- Hantal algoritmasında, bir düğümdeki sınıfların sayısı sıfıra ulaşana kadar dallanma işlemi devam eder.
- 21:46Hantal Algoritmasının Uygulanması
- Algoritma, veri setindeki "evet" ve "hayır" sayılarına bakarak ilk dallanmayı yapar.
- Dallanma işlemi, bir sınıftaki değerler sıfıra ulaşana kadar devam eder.
- Tüm yapraklarda veya dallarda sıfır değerleri görüne kadar algoritma çalışır, sonra performans ölçülerine geçilir.
- 25:45Entropi Tabanlı Algoritmalar
- Aytre algoritması, entropi tabanlı bir algoritmadır ve her adımda entropi hesaplaması yapar.
- Entropi, maddenin belirsizlik veya düzensizlik ölçüsü olarak tanımlanır.
- Karar ağaçlarında, düzensiz durumlardan düzenli duruma geçmeye çalışılır, bu doğadaki akışın tersidir.
- 28:08Entropi Hesaplama
- Entropi hesaplaması için, olayların olma olasılıkları kullanılır.
- Entropi değeri, olasılıkların kendi logaritma iki tabanındaki değerleriyle çarpılarak, toplanıp eksi ile çarpılarak hesaplanır.
- 29:12Entropi Kavramı ve Hesaplama
- Entropi, belirsizliğin veya düzensizliğin ölçüsüdür ve yüksek entropi kötü bir durumdur.
- Entropi hesaplaması için formül: -Σ(p(i) * log₂(p(i))) kullanılır, burada p(i) olayın olasılığıdır.
- Örneğin, A1, A2, A3 olaylarının olasılıkları sırasıyla 1/2, 1/3, 1/6 olduğunda entropi değeri 1,45 olarak hesaplanır.
- 30:49Entropi Örnekleri
- Yazı-tura benzeri bir örnekte, 8 atışta 2 kez yazı ve 6 kez tura geldiğinde entropi değeri 0,81 olarak hesaplanır.
- Aynı örnekte, 4 kez yazı ve 4 kez tura geldiğinde entropi değeri daha yüksek olur çünkü belirsizlik artar.
- Tüm atışlarda aynı sonuç geldiğinde (örneğin 8 kez tura) entropi değeri sıfır olur, bu en belirli durumdur.
- 36:02Karar Ağaçlarında Entropi Kullanımı
- Karar ağaçlarında dallanma kriterlerini belirlerken entropi kavramı kullanılır ve entropisi düşük olan kriterlere öncelik verilir.
- Karar ağaçlarında aşağı doğru inildikçe entropi azalır ve daha belirli bir duruma kavuşulur.
- Örneğin, futbol oynamayı karar verirken hava durumu, sıcaklık, nem ve rüzgar gibi kriterler kullanılarak karar ağacı oluşturulabilir.
- 38:24Karar Ağacı Oluşturma
- Karar ağacında ilk dallanma hava durumu olarak belirlenmiş, ikinci dallanmada rüzgar ve nem kriterleri kullanılmıştır.
- Karar ağacında yeşil olarak gösterilen düğümlerden sonra ileri gitmenin anlamı yoktur çünkü karar verilmiştir.
- Entropi hesaplamaları yapılarak en iyi karar ağacı oluşturulur, aksi takdirde her seferinde farklı karar ağacı ortaya çıkabilir.
- 40:34Karar Ağaçlarında Entropi Hesabı
- Karar ağaçlarında entropi hesabı, bir özelliğin sonuç değişkeni ile arasındaki belirsizliği ölçmek için yapılır.
- Entropi hesabı için önce her özelliğin hangi durumda kaç kez futbol oynandığı ve kaç kez oynanmadığı tabloda tutulmalıdır.
- Entropi formülü: Olayın olma olasılığı çarpı o olayın entropisi, bize o özelliğin entropisini verir.
- 41:43Hava Durumu Entropisi Hesabı
- Güneşli hava durumunda futbol oynamış olasılığı 3/5, oynamamış olasılığı 2/5'dir ve entropisi 0,97091'dir.
- Bulutlu hava durumunda futbol oynamış olasılığı 4/4, oynamamış olasılığı 0/4'dir ve entropisi 0'dır çünkü durum belirli.
- Yağmurlu hava durumunda futbol oynamış olasılığı 2/5, oynamamış olasılığı 3/5'dir ve entropisi 0,97091'dir.
- Hava durumu ve futbol oyna arasındaki toplam entropi 0,694'tür.
- 43:53Diğer Özelliklerin Entropisi
- Nem yüksek olduğunda futbol oynamış olasılığı 3/7, oynamamış olasılığı 4/7'dir ve entropisi 0,7878'dir.
- Sıcaklık için entropi 0,91'dir, bu da hava durumundan ve nemden daha büyük bir entropi değeridir.
- Rüzgar için entropi 0,892'dir.
- 45:30Karar Ağaçlarının Oluşturulması
- En düşük entropiye sahip özellik (hava durumu) karar ağacının kök düğümü olarak seçilir.
- Daha sonra kalan özellikler (sıcaklık, nem ve rüzgar) için entropi hesaplaması yapılır ve en düşük entropiye sahip özellik dallanma için seçilir.
- Bu yöntem bilgi kazanımı (information gain) olarak da adlandırılır.