#kafka

壓縮前 k1:a k2:x k1:b k3:p k2:y k1:c cleaner:每個 key 留最後一筆 壓縮後 k3:p k2:y k1:c

Kafka 維運與部署:KRaft、retention/compaction 與監控

· tech · 約 7 分鐘 · 📚 Kafka 學習筆記 #5

前四篇講的是「Kafka 怎麼用」—— 可重播的 log、核心模型、投遞保證、生態系。這篇收尾,換個視角:當 Kafka 真的上線、要長期穩定跑,維運面得懂哪些事?四塊 —— KRaft(叢集怎麼管自…

#kafka#data-engineering#operations

Kafka topics / log MySQL / API 來源系統 DW / ES / S3 下游系統 Connect source Connect sink Schema Registry Kafka Streams 讀 → 運算 → 寫回

Kafka 生態系:Connect、Schema Registry 與 Streams

· tech · 約 8 分鐘 · 📚 Kafka 學習筆記 #4

前三篇都在講 Kafka broker 本身 —— 可重播的 log、核心模型、投遞保證。但真實世界裡你幾乎不會「只用 broker」:資料要從別的系統搬進來、事件的長相要有人管、流上還得做轉換與聚合…

#kafka#data-engineering#stream-processing

Producer acks? Broker 複本 / ISR Consumer commit 時機 ① 丟失 / 重複 ② 機器掛了會不會丟 ③ 重做 / 跳過

Kafka 的投遞保證:acks、ISR 與 at-least-once / exactly-once

· tech · 約 8 分鐘 · 📚 Kafka 學習筆記 #3

第二篇講完事件「怎麼擺、誰來讀」,留了一個更尖銳的問題:崩潰重啟後,一筆事件到底會被重複處理、還是漏掉?這篇把 Kafka 的可靠性講透 —— acks、複本與 ISR、commit 時機,以及 at…

#kafka#data-engineering#reliability