Spark引擎在大數(shù)據(jù)當中定位如何？

大數(shù)據(jù)發(fā)展至今，提起大數(shù)據(jù)計算引擎，Spark一定是不能忽視的一個。經(jīng)過近年來的發(fā)展，Spark在大數(shù)據(jù)領(lǐng)域的市場占有率也在不斷提升，可以自己獨立支撐集群運行，也可以與Hadoop生態(tài)集成運行，因此廣受歡迎。下面和大家講講，Spark在大數(shù)據(jù)生態(tài)當中的定位如何?

早期的大數(shù)據(jù)，Hadoop框架受到的重用是顯而易見的，而隨著大數(shù)據(jù)處理新的數(shù)據(jù)處理需求產(chǎn)生，Hadoop在實時數(shù)據(jù)流計算上的劣勢開始顯現(xiàn)出來。而Spark正是在這樣的背景下誕生，可以看做是對于Hadoop MapReduce計算框架的替代和改進。

Spark同樣基于分布式集群進行并行計算，完成計算任務(wù)，相對于MapReduce，很大的一個改變在于，將原本在磁盤上運行的任務(wù)轉(zhuǎn)移到內(nèi)存當中來進行，而基于內(nèi)存計算的效率，相比基于磁盤計算，確實要快得多。

另外，相比于MapReduce固定只支持map和reduce兩種任務(wù)類型，Spark繼承了MapReduce的模式，但是支持更多的任務(wù)類型，也能適應(yīng)更多的計算場合。Spark對分布式大數(shù)據(jù)處理的抽象處理，讓用戶不必像寫MapReduce一樣，太關(guān)注底層的實現(xiàn)邏輯，而是在處理層次上投入更多精力。Spark解決的核心問題，是數(shù)據(jù)計算任務(wù)的解決，對于數(shù)據(jù)存儲以及任務(wù)調(diào)度，還需要依靠其他工具來執(zhí)行。

Spark的工作需要配合存儲層，例如Hadoop中的HDFS分布式文件存儲或者MongoDB、Cassandra這類數(shù)據(jù)庫來完成。同時，它還需要一個集群的管理器，比如YARN、Mesos等用來管理相應(yīng)的數(shù)據(jù)處理任務(wù)。當然Spark自己也提供集群管理功能，這樣集群的每個節(jié)點都需要安裝Spark，用于進行任務(wù)的編排。

發(fā)展至今，Spark已經(jīng)形成了相對完備的大數(shù)據(jù)處理生態(tài)，包括Spark ML用來處理基于大量數(shù)據(jù)的機器學習任務(wù)，Spark Streaming用于處理小批量的流式數(shù)據(jù)等。

Spark在大數(shù)據(jù)生態(tài)當中的定位如何?需要知道的是，Spark作為大數(shù)據(jù)處理引擎，雖然并不能解決所有環(huán)節(jié)的問題，但是對于絕大部分問題，都能給出合適的方案，不管是獨立運行還是集成運行，Spark系統(tǒng)的可用性都很高。

更多培訓課程： 深圳大數(shù)據(jù) 更多學校信息： 深圳龍華達內(nèi)IT教育培訓 咨詢電話：