Apache Spark是由Apache軟體開發的開源叢集框架，Apache Spark運算效率非常快，可以用於
大規模的資料處理
，也支援
流式計算
；因此，現有大多資料技術領域的處理工具都升級到Spark計算框架。Apache Flink是一個面向
流式計算
的的開源框架，在分散式應用程式中實現高可用性、高效能、穩定性和準確性。Apache Flink在流資料引擎中提供
低延遲、高吞吐量
，在資料引擎或機器故障的情況下提供
容錯機制
。
更多關於Apache Spark和Apache Flink的細節：
Spark是Apache軟體基金會開發的一個開源叢集計算框架，最初由加州大學伯克利分校開發，後來捐贈給Apache基金會使其開源。
Apache Flink是Apache軟體基金會開發的開源軟體框架。Flink的核心元件是一個用Java和Scala編寫的分散式流和資料處理引擎。
Apache Spark速度非常快，可以用於大規模資料處理，這在當今發展非常迅速。它已經成為大資料技術領域中許多現有的大規模資料處理工具的替代品。
在Hadoop環境中，使用Apache Spark執行程式的速度比Map Reduce作業快100倍，這一點更可取。
Apache Spark和Apache Flink之間的主要區別：
1、Spark是一組應用程式程式設計介面（api），在所有現有的Hadoop相關專案中超過30個。Apache Flink之前是一個名為Stratosphere的研究專案，在其建立者將其名稱改為Flink之前。
2、Spark提供Java、Python、Scala、R等不同程式語言的高階api。2014年Apache Flink被Apache專案組接受為Apache孵化器專案。
3、Spark具有核心特性，如
Spark core、Spark SQL、MLib(機器庫)、GraphX(用於圖形處理)和Spark流
，而Flink用於透過
迭代集合執行迴圈和迭代過程
。
4、Apache Spark和Apache Flink都是大資料環境中的通用流資料或資料處理平臺。針對大規模資料，可以使用Spark叢集模式對不同叢集上的資料進行流式處理和批處理，以實現快速並行處理。
5、Spark叢集模式將使應用程式作為叢集中的
單個程序執行
。Flink是一個
強大的高效能工具
，用於批處理作業和作業排程過程。
6、Spark叢集的元件是驅動程式管理器、驅動程式和工作節點。Flink的另一個特性是良好的相容性模式，可以支援不同的Apache專案，比如Apache Storm和Mapreduce任務，以提高資料處理效能。
7、Spark提
供了不同型別的叢集管理器
，比如HADOOP Yarn叢集管理器、獨立模式、Apache Mesos（一種通用叢集管理器）和Kubernetes（一種用於自動化部署的開源實驗系統）。與Spark不同的核心元件相比，Flink
只有一個數據處理引擎
。
8、Spark叢集元件函式在工作節點中有任務、快取和執行器，其中
叢集管理器可以有多個工作節點
。Flink架構的工作方式是
不必每次都開啟和關閉流
。
9、Spark和Flink具有記憶體管理功能。
當節點耗盡記憶體但具有容錯能力時，Spark會崩潰節點
。Flink有一種不同的記憶體管理方法。當記憶體耗盡時，
Flink寫到磁碟
。
10、Apache Spark和Apache Flink都與LinkedIn開發的Apache Kafka專案合作，後者也是一個強大的資料流應用程式，具有很高的容錯性。
11、Spark可以在駐留在其中的
不同應用程式中共享記憶體
，而
Flink具有顯式記憶體管理
，
可以防止Apache Spark中偶爾出現的峰值
。
12、Spark具有更多的配置屬性，而Flink具有更少的配置屬性。
13、Flink可以近似批處理技術，Spark擁有統一的引擎，可以透過連線到許多其他叢集管理器和儲存平臺或伺服器，在Hadoop上獨立執行。
14、在觸發作業時，
Apache Spark的網路使用在作業開始時較少
，這會導致作業執行中的一些延遲。Apache Flink從一開始就使用網路，這表明
Flink有效地使用了它的
資源。
15、
Apache Spark中的資源利用率越低，生產效率就越低，而在Apache Flink中，資源利用率有效地提高了生產效率，獲得了更好的結果
。
下面是Apache Spark和Apache Flink之間的8個比較：
結論
兩者都是通用資料流處理應用程式，它們提供的API以及體系結構和核心元件是不同的。Spark有多個核心元件來執行不同的應用程式需求，而Flink只有資料流和處理能力。
根據業務需求，可以選擇軟體框架，Spark已經存在了幾年，而Flink目前在業界正在逐步發展，Apache Flink有可能超越Apache Spark。
To integrate with multiple frameworks Spark is rather preferred compared to Flink in order to support multiple applications in a distributed environment.
想獲取更多內容，請關注
海
資料實驗室公眾號。
