#ingestion

批次 Batch 小時 ~ 天 定時/定量・成熟(預設) 微批次 Micro-batch 秒 ~ 分 每一小批處理一次 串流 Streaming 毫秒 ~ 秒 逐筆事件・即時 高延遲・低複雜・便宜 低延遲・高複雜・貴 每往即時走一步,就多付一分複雜度與成本

把資料搬進來:批次還是串流?讀《Fundamentals of Data Engineering》Ch.7

· tech · 約 5 分鐘 · 📚 Fundamentals of Data Engineering 讀書筆記 #7

源頭生出資料、儲存準備好接,中間那條把資料搬進來的動作,就是這章的主角:Ingestion(擷取)。它是生命週期的第二站,也是最多人一上來就糾結「要不要即時」的地方。這章最該先想清楚的一句話是 —— …

#data-engineering#book-notes#ingestion