Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, bir eğitim içeriği olup, konuşmacı Kafka'dan veri okuma yöntemlerini anlatmaktadır.
- Video, Kafka'dan veri okuma sürecini adım adım göstermektedir. Öncelikle offset kavramı ve commit işlemi açıklanmakta, ardından üç farklı okuma yöntemi (at most one, at least one ve exactly once) karşılaştırmalı olarak gösterilmektedir. Son olarak consumer grup kavramı ve partition paylaşımı anlatılmaktadır. Video, bir sonraki bölümde Kafka'nın pratik kullanımını, sistem ayarlarını ve mesaj yazma/okuma işlemlerini göstereceğini belirterek sona ermektedir.
- 00:01Kafka'dan Veri Okuma İşlemi
- Önceki videolarda Kafka'nın mimarisi, veri saklama ve veri yazma konuları anlatılmıştır.
- Kafka'dan veri okuma işlemi partition'dan başlar ve Kafka'nın belirlediği offset pozisyonundan okuma yapılır.
- Okuyucu daha önce okumuşsa Zookeeper'da kaldığı offset pozisyonu belirlenir, yeni bir okuyucu ise en baştan başlar.
- 00:39Okuma ve Commit İşlemi
- Okuma işlemi sırasında önce mesaj okunur, sonra istenen işlem yapılır ve Kafka'ya mesajın işlendiği belirtilir (commit).
- Commit işlemi yapıldığında Kafka offset pozisyonunu bir sonraki mesaja getirir ve bu bilgileri Zookeeper'a yazar.
- Okuyucu programı çökse bile kaldığı offset pozisyonundan okumaya devam eder.
- 01:27Okuma Seçenekleri
- Kafka'dan bilgi okumada farklı seçenekler vardır: at most one (en fazla bir kere), at least one (en az bir kere) ve exactly once (tam bir kere).
- At most one yönteminde mesaj okur okumaz commit edilir, bu nedenle mesaj kaybolma riski büyüktür.
- At least one yönteminde mesaj okunduktan sonra commit edilmez, iş bittikten sonra yapılır ve aynı mesaj birden fazla okunabilir.
- Exactly once yönteminde mesaj okur okumaz transaction başlatılır, bu yöntem performansa büyük etkisi vardır ve gerekli olduğu zamanlar kullanılmalıdır.
- 03:27Consumer Grup Kavramı
- Readerlar (okuyucular) her zaman bir consumer gruba bağlıdır ve Kafka hangi okuyucu olduğunu bilir.
- Bir topic'in partitionları, birden fazla reader tarafından eşit olarak bölüştürülür.
- Bir partition ile aynı isme ait sadece bir reader okuyabilir, bu nedenle yeni eklenen reader pasif olarak bekler.
- Farklı reader grupları partitionlardan okumaya başlar ve isimleri ayrı olduğu için birbirlerine karışmazlar.