#testing

Scheduler每隔幾秒 parse 一次所有 DAG 檔 parseparse ✗ top-level 放重活 df = query_db() # 模組層 cfg = requests.get(url) 每次 parse 都跑這些 → scheduler 被反覆拖垮、DAG 變慢 ✓ 檔案輕,重活進 task @task def load(): query_db() top-level 只有 DAG 結構 parse 秒過 重活只在 task 執行時跑一次

Airflow 測試與部署:別讓一個 typo 弄垮整包 DAG

· tech · 約 7 分鐘 · 📚 Airflow 學習筆記 #8

DAG 寫好了、也可靠了,最後一哩是工程紀律:怎麼確定我的改動不會弄壞它,又怎麼把它安全送上 Production。 這篇講測試(把壞 DAG 擋在 merge 前)、部署(DAG 檔怎麼上環境、se…

#airflow#data-engineering#testing