從這裡開始

這裡的文章多半用一張圖 + 精簡的文字,把資料工程與技術領導裡複雜的東西講清楚。如果你是第一次來,照著下面的路徑走,比亂點省力。

① 先建立資料工程的觀念地基

不確定從哪開始?先讀這個系列。它從「資料工程是什麼」一路帶到生命週期、架構、選型、源頭、儲存、擷取、建模 —— 有了這張心智地圖,再看工具就不會迷路。

📚 Fundamentals of Data Engineering 讀書筆記

  1. 1 資料工程是什麼:讀《Fundamentals of Data Engineering》Ch.1
  2. 2 資料工程生命週期:讀《Fundamentals of Data Engineering》Ch.2
  3. 3 好的資料架構怎麼設計:讀《Fundamentals of Data Engineering》Ch.3
  4. 4 技術到底該怎麼選:讀《Fundamentals of Data Engineering》Ch.4
  5. 5 資料從哪來:源頭系統與資料生成,讀《Fundamentals of Data Engineering》Ch.5
  6. 6 資料要存在哪:儲存的階層與抽象,讀《Fundamentals of Data Engineering》Ch.6
  7. 7 把資料搬進來:批次還是串流?讀《Fundamentals of Data Engineering》Ch.7
  8. 8 把資料變好用:查詢、建模與轉換,讀《Fundamentals of Data Engineering》Ch.8
  9. 9 資料的最後一哩:服務給分析與 ML,讀《Fundamentals of Data Engineering》Ch.9
  10. 10 最該重視卻最被忽略的一章:安全與隱私,讀《Fundamentals of Data Engineering》Ch.10
  11. 11 資料工程的未來:工具會變、地基不變,讀《Fundamentals of Data Engineering》Ch.11(完結)

② 練好每天都要用的 SQL

SQL 是資料工程每天都在用的語言,但多數人只停在「能跑」。這個系列專打那些你以為懂、其實模型是糊的地方 —— 執行順序、JOIN、NULL、window function、去重、gaps-and-islands —— 把 SQL 從「能用」練到「真懂」。

📚 SQL 我以為我懂

  1. 1 你寫的 SQL 不是照你寫的順序跑
  2. 2 JOIN 的真相:先算笛卡爾積,再過濾
  3. 3 NULL 不是值,是「不知道」
  4. 4 GROUP BY:把多列收合成一列
  5. 5 Window Function:不收合的聚合
  6. 6 去重的正確姿勢:DISTINCT 不是唯一解
  7. 7 Gaps and Islands:把連續區間抓出來
  8. 8 時間分桶與 SCD:SQL 處理時間的兩個坑
  9. 9 索引為什麼快 —— 也為什麼會失效

③ 三大工具,動手學

觀念之後就是實作。這三個是資料工程最核心的工具,各自一條龍從「是什麼」到「上生產」。

📚 分散式運算 · Spark 學習筆記

  1. 1 Apache Spark 是什麼?一篇搞懂分散式資料處理
  2. 2 Spark DataFrame 實戰:讀取、轉換、寫出與 Spark SQL
  3. 3 Spark 效能的本體:shuffle 與調校
  4. 4 把 Spark 跑起來:從本機到叢集與 managed 平台
  5. 5 Structured Streaming 入門:把串流當成一張無界的表
  6. 6 讀懂 Spark 執行計畫:.explain() 到底在說什麼

📚 事件串流 · Kafka 學習筆記

  1. 1 Apache Kafka 是什麼?從訊息佇列到事件串流
  2. 2 Kafka 的核心模型:Topic、Partition、Offset 與 Consumer Group
  3. 3 Kafka 的投遞保證:acks、ISR 與 at-least-once / exactly-once
  4. 4 Kafka 生態系:Connect、Schema Registry 與 Streams
  5. 5 Kafka 維運與部署:KRaft、retention/compaction 與監控

📚 工作流程編排 · Airflow 學習筆記

  1. 1 Apache Airflow 是什麼?從 cron 到工作流程編排
  2. 2 跑起第一個 Airflow:Docker 環境 + 你的第一個 DAG
  3. 3 Airflow 排程的真相:data interval、catchup 與 backfill
  4. 4 Airflow 任務間怎麼傳資料:XCom、TaskFlow 進階與 params
  5. 5 Airflow 怎麼連外部系統:Provider、Operator、Hook、Sensor
  6. 6 Airflow 複雜流程控制:branching、trigger rules、TaskGroup、動態任務

④ 轉換與架構:精選單篇

把原始資料煉成可用模型、以及幾個我認為最該懂的架構觀念。

  1. 1 dbt 是什麼?用寫程式的方式做資料轉換
  2. 2 Medallion 架構:用 Bronze / Silver / Gold 分層管資料品質
  3. 3 先確認痛點,再上重武器

⑤ 工具跑在哪:Kubernetes

前面的 Spark、Airflow 最後都要有個地方跑。這個系列從 reconcile loop 的靈魂講起,一路到 Pod、排程、自我修復,最後用「Airflow + Spark 跑在 K8s」把整條資料管線收在同一個平台上。

📚 Kubernetes 學習筆記

  1. 1 Kubernetes 是什麼:從「跑容器」到「宣告你要的狀態」
  2. 2 Pod、Node、Scheduler:Kubernetes 叢集的三個原子
  3. 3 Deployment 與自我修復:reconcile loop 的實戰
  4. 4 Service:擋在短命 Pod 前面的固定門牌
  5. 5 Airflow + Spark 跑在 K8s 上:不同的 node 怎麼跑不同的 pod

⑥ 讓系統跑得穩:SRE

跑得起來只是開始,跑得穩才是難的。讀 Google《Site Reliability Engineering》的筆記 —— error budget、SLO、四個黃金訊號、消除 toil、blameless postmortem —— 把維運從救火英雄主義,變成有指標、可工程化的學科。

📚 Google SRE 讀書筆記

  1. 1 SRE 是什麼?從 Error Budget 講起
  2. 2 SLI / SLO / SLA:一個量測、一個目標、一個合約
  3. 3 消除 Toil:把重複的維運當成待消滅的 bug
  4. 4 監控:四個黃金訊號

⑦ 想帶人、想成長:技術領導

技術之外的另一條線 —— 讀《成為 Tech Leader》的筆記與反思,寫給正在或即將帶人的工程師。

📚 成為 Tech Leader 讀書筆記

  1. 1 領導力
  2. 2 領導力 - MOI
  3. 3 領導力 - 成長模型
  4. 4 領導力 - 成為 Leader 的迷思與痛苦
  5. 5 領導力 - 創新的三大障礙
  6. 6 領導力 - 用日記看見自己

想找特定主題?用右上角的搜尋,或到 標籤頁 依主題瀏覽。