乾貨| 企業級資料分析引擎flink的架構、架構、應用場景以及架構設計

1。Flink用於實時流的處理,具有高吞吐、低延遲、高效能的特性。Apache Flink是一個框架和分散式處理引擎,用於對無界和有界資料流進行有狀態計算。Flink設計為在所有常見的叢集環境中執行,以記憶體速度和任何規模執行計算。Flink可以以任務規模並行執行任務;

2。Flink的架構:Client提交任務給JobManager,JobManager分發任務給TaskManager;TaskManger會心跳的彙報任務狀態;TaskManager 之間是流;TaskManager內部和taskManager可以進行資料傳遞;

3。Flink底層就是流,如果需要批處理,當成有界流即可;而spark streaming為微批處理,哪怕當成一條為一個微批,底層架構不一樣,耗時還是有區別。

常用命令:

1。命令啟動flink任務

。/flink run -c org。example。flink。StreamWordCount -p 3 /mnt/f/work/learn_project/SpringCloudLearning/flink-demo/target/flink-demo。jar ——host localhost ——port 7777

2。檢視flink執行的任務清單

。/flink list

3。停止則為 。/flink cancel e393f878ad512757c375a5da30209625