Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, bir eğitim sunumu formatında olup, konuşmacı Hadoop ve MapReduce konularını anlatmaktadır.
- Video, MapReduce'in performans avantajlarıyla başlayıp, Hadoop'un temel bileşenlerini (Name Node, Data Node) ve HDFS (Hadoop Distributed File System) yapısını açıklamaktadır. Konuşmacı, HDFS üzerinde sorgu yapma, dosya boyutlarını ve replikasyon sayılarını görüntüleme gibi pratik örnekler göstermektedir. Ayrıca, Hadoop'un Java bağımlılığını azaltan ve kullanıcı kodlarının kaynak yönetim detaylarından soyutlandığı üst düzey API'ler hakkında bilgi verilmektedir. Video, Hadoop'un veri yönetimi ve sorgulama özellikleri üzerine odaklanmaktadır.
- 00:04MapReduce Performansı ve HDFS Kullanımı
- Google MapReduce ile 68 saniyede 209 saniyede işlem yaparken, MapReduce ile 68 saniyede 1 terabayt işlediğini bildiriyor.
- Sunumda gösterilen grafik, bir MapReduce taskının yaşam döngüsünü gösteriyor.
- Dağıtık sistemlerde karşılaşılan bir senaryoda, veri sunucu tarlalarında farklı makinalara ve düğümlere dağılmış durumda.
- 01:01HDFS Yapılandırması ve Kullanımı
- HDFS'de "hdfs://localhost" yazarak erişim sağlanabilir.
- HDFS name node format komutu ile konfigürasyon dosyasında belirtilen dizinde name node'un formatlanması gerekir.
- HDFS üzerinde sorgu yapma imkanı sunan bir sistem bulunmaktadır.
- 02:02HDFS Dosya Özellikleri
- HDFS blok boyutu 128 megabayt olmasına rağmen, dosya boyutu farklı olabilir.
- HDFS üzerindeki dosyalar replike edilebilir ve dosya oluştururken replikasyon sayısı değiştirilebilir.
- HDFS API'leri genellikle kullanıcı kodu tarafından doğrudan kullanılmaz, daha üst düzey API'ler tercih edilir.
- 04:30HDFS Veri Yönetimi
- HDFS'te farklı kalın familyler olabilir ve bir roke altında farklı kalın familyler bulunabilir.
- HDFS'te zaman mührü özelliği sayesinde veri üzerindeki değişiklikler takip edilebilir.
- HDFS, Java ile olan bağımlılığı ortadan kaldıran bir katman olarak kullanılabilir.