#platform

一個資料平台的分層 監控 LGTM:一塊玻璃看全平台Grafana · Loki(logs)· Tempo(traces)· Prometheus / Mimir(metrics) Stateful 核心 — StatefulSet + PV KafkaRedis RabbitMQMetadata DB 少動・保護狀態・HA 過半・傾向 managed Stateless 運算 — Deployment + autoscale Spark executor Airflow worker Kafka Connect worker 可拋・隨開隨關・借外部狀態・傾向 self-host Kubernetes 底座control plane + etcd —— 所有東西都跑在這上面 一條軸決定分層:有狀態的沉在核心層少動;無狀態的浮在運算層隨開隨關

把它們兜成一個資料平台

· tech · 約 5 分鐘 · 📚 從 Infra 角度看資料工具 #9

前面八篇,一個一個工具看。這篇把它們兜成一個平台。而「兜」的方法,不是把七個工具的細節背起來——是抓住那條從第一篇就在講的軸:stateful ↔ stateless。這條軸一句話決定了每個工具在平台…

#infrastructure#platform