Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, bir eğitim içeriği olup, izleyicilere Apache Kafka ve ZooKeeper kurulumunu ve temel kullanımını adım adım göstermektedir.
- Video, Kafka ve ZooKeeper'ın kurulumundan başlayarak, temel admin komutlarını ve konfigürasyon elementlerini detaylı şekilde anlatmaktadır. İçerikte topic oluşturma, okuma ve yazma işlemleri, partition ve replication factor ayarları, consumer grupları ve offset kavramları gibi konular ele alınmaktadır. Ayrıca, Kafka'nın server.properties ve zoo.keeper.properties dosyalarının içeriği ve yapılandırılması hakkında bilgiler verilmektedir. Video, bir sonraki eğitimde Java, Scala ve Python kullanarak dağıtık bir proje hazırlayacağını belirterek sona ermektedir.
- 00:02Apache Kafka ve ZooKeeper Kurulumu
- Bu videoda Apache Kafka ve ZooKeeper kurulumu, topiklerin oluşturulup okunup yazılması ve temel admin komutları gösterilecek.
- Kafka kurmak için Apache Kafka'nın web sayfasından en son versiyonu indirmek gerekiyor ve sisteminde Java'nın kurulu olması şart.
- İndirilen tar-g-zip dosyası açıldıktan sonra ayrı bir setup yapmaya gerek yok, tüm gerekli dosyalar klasör içinde bulunuyor.
- 01:05Kafka Klasör Yapısı
- Kafka klasörünün içinde lisans bilgileri, bin klasöründe komutlar, config klasöründe konfigürasyon bilgileri bulunuyor.
- Lips klasöründe Kafka'nın çalışırken kullandığı jar dosyaları, side dogs klasöründe dokümantasyon bilgileri yer alıyor.
- ZooKeeper çalışmadan Kafka çalıştırılamaz, indirilen Kafka dosyasının içinde aynı zamanda bir ZooKeeper kurulumu da bulunuyor.
- 01:54ZooKeeper ve Kafka Çalıştırma
- ZooKeeper'ı çalıştırmak için bin klasöründen "zookeeper-server-start" komutu ve "zookeeper.properties" config dosyası kullanılıyor.
- Kafka'yi çalıştırmak için "kafka-server-start" komutu ve "server.properties" config dosyası kullanılıyor.
- Config dosyasında broker ID, port, log konumları, partition sayısı, retention süresi gibi önemli konfigürasyonlar bulunuyor.
- 04:06Kafka Broker Kurulumu
- İki broker çalıştırmak için server.properties dosyasının yedeğini oluşturup içindeki kimlik, port ve log değerlerini değiştirerek ikinci broker kurulumu yapılıyor.
- İki broker başarıyla çalıştırıldıktan sonra temel komutlara geçiliyor.
- 05:16Temel Komutlar ve Topik Yönetimi
- Yeni bir topic oluşturmak için "kafka-topics" komutu kullanılıyor, "create" parametresi ile topic ismi belirtiliyor.
- Partition ve replication factor bilgilerini kendimiz vererek topic oluşturabiliriz, replication factor değeri broker sayısı kadar olmalı.
- Topic hakkında bilgi almak için "describe" parametresi kullanılıyor, burada partition'ların leader'ı, replikaları ve in-sync replikaları görülebiliyor.
- 08:19Mesaj Gönderme ve Okuma
- Mesaj okumak için "kafka-console-consumer" komutu kullanılıyor, "bootstrap-server" ve topic parametreleri verilerek okuma başlatılıyor.
- Mesaj göndermek için "kafka-console-producer" komutu kullanılıyor, enter'a basıldığında yazılan mesajlar topic'e gönderilir.
- Consumer gruplarını listelemek için "kafka-consumer-groups" komutu ve "list" parametresi kullanılıyor.
- 09:44Consumer Grupları ve Offset Bilgileri
- Consumer grubu hakkında detaylı bilgi almak için "describe" ve "group" parametreleri kullanılıyor.
- Offset bilgilerinde consumer offset (okunmuş ve commit edilmiş en son offset) ve log end offset (partition içindeki en son offset) bulunuyor.
- Lag değeri, partition'a yazılan mesajların sayısının okunma sayısından farkını gösteriyor ve real-time sistemlerde önemlidir.