Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, big data projelerinde kullanılan Apache Kafka teknolojisini anlatan bir eğitim içeriğidir. Eğitmen, Kafka'nın temel prensiplerini ve kullanım alanlarını detaylı şekilde açıklamaktadır.
- Video, Kafka'nın ne olduğu, mimarisi, kurulumu ve kullanımı hakkında bilgiler sunmaktadır. Kafka'nın kuyruk mekanizması olarak çalıştığı, FIFO (ilk giren ilk çıkar) prensibiyle veri topladığı ve gerçek zamanlı projelerde kullanıldığı anlatılmaktadır. Ayrıca producer ve consumer kavramları, topic yapısı, broker ve partition kavramları ve replication mekanizması örneklerle açıklanmaktadır. Video, bir sonraki derste Kafka'nın kurulumunun yapılacağı bilgisiyle sonlanmaktadır.
- Apache Kafka Tanıtımı
- Bu bölümde big data projelerinde çok kullanılan Apache Kafka teknolojisi incelenecek.
- Kafka'nın neye çözüm ürettiği, mimarisi, kurulumu ve kullanımı öğrenilecek.
- Big data projelerinde veriyi hızlı ve hatasız toplamak en önemli noktalardan biridir ve Kafka bu konuda yardımcı olur.
- 00:26Kafka'nın Çalışma Prensibi
- Apache Kafka bir kuyruk mekanizması olup, verileri kaynağından direkt analiz aracına değil, önce Kafka'ya gönderir.
- Kafka serverlarında veriler dağıtık bir şekilde tutulur ve analiz kısmında işlenecek veriler Kafka serverlarından çekilir.
- Kafka bir kuyruk mekanizması olduğu için FIFO (ilk giren ilk çıkar) mantığıyla çalışır.
- 00:54Kafka'nın Avantajları
- Kafka en çok gerçek zamanlı (real-time) projelerde kullanılır.
- Veriler doğrudan kaynağından analiz kısmına geçerse, saniyede milyonlarca veri geldiği durumda veriler kaybolma ihtimali vardır.
- Analiz makinası çöktüğünde bile Kafka'da yedeklenen veriler, analiz kısmı ayağa kalktığında sırayla çekilmeye başlar.
- 01:35Kafka'nın Temel Bileşenleri
- Kafka'da verileri gönderen kısma "producer" denir ve veriler belli başlıklar altında toplanabilir.
- Verileri çeken kısma "consumer" denir ve birden fazla consumer aynı topicten verileri çekebilir.
- Aynı topic'e birden fazla producer da veri gönderebilir.
- 02:07Kafka Örneği
- Google'ın sürücüsüz araçlarında binlerce sensör bulunur ve veriler doğrudan Spark'a gönderilirse kopma durumunda veri kaybına yol açabilir.
- Veriler önce Kafka'ya gönderilir ve Kafka'da dağıtık bir şekilde tutulur.
- Spark gibi analiz makineleri istenilen topicten verileri çekip sırayla işleyebilir ve real-time olarak gelen veriyi doğrudan Kafka'dan alabilir.
- 03:18Kafka'nın Performans Avantajları
- Farklı gruplar belirli topiclerde veri işleyebilir, örneğin bir grup sıcaklık topiğindeki verileri, diğer bir makine hız topiğindeki verileri işleyebilir.
- Aynı anda üç farklı veriye üç farklı makine işlediğinde mükemmel bir hız kazandırır.
- Kafka dağıtık bir şekilde veri toplama ve replication işlemleri yapabilir.
- 03:54Kafka Cluster Yapısı
- Kafka cluster'ındaki her bir Kafka server'ına "broker" adı verilir.
- Veriler gerçek zamanlı olarak veya beş dakikalık analiz olarak Kafka'ya gönderilir ve daha sonra analiz kısmına aktarılır.
- Kafka'da dağıtık veri toplama ve replication olduğu için brokerlar veriyi partitionlara ayırır ve replication faktörü belirlenir.
- 04:52Replication ve Güvenlik
- Replication faktörü üç kabul edildiğinde, her partition üç makinada üç kopya olarak saklanır.
- Her bir partition farklı makinelerin lider özelliğine sahip ve farklı makinelerde kopyası tutulur.
- Bir makinede çökme veya elektrik kaybı olsa bile, diğer makinalarda saklanan kopyalar sayesinde veri kaybına yol açmaz.