#deployment

Driver 排程 task ① 申請資源 Cluster Manager ② 啟動 Executor task + cache Executor task + cache Executor task + cache ③ 派 task

把 Spark 跑起來:從本機到叢集與 managed 平台

· tech · 約 6 分鐘 · 📚 Spark 學習筆記 #4

前三篇都在講 Spark 怎麼寫、怎麼跑得快(是什麼、DataFrame 實戰、shuffle 調校)。但同一段程式碼,在你筆電上跑、跟在一個幾十台機器的叢集上跑,中間到底發生什麼事?這篇講 runt…

#spark#data-engineering#deployment