大數據工程師是做什么樣的工作？

大數據從概念到落地，在國內的發(fā)展其實主要就是這幾年，而正是在這幾年當中，隨著大數據市場規(guī)模的進一步擴大，大數據人才需求還將進一步加大。大數據工程師是做什么樣的工作?

目前的大數據處理主要有兩個軟件框架，Hadoop和Spark。從各家公司的招聘要求來看，想要從事大數據開發(fā)，掌握Hadoop或者Spark是不可少的。

Hadoop三大件包括HDFS、Yarn和MapReduce。大數據量存儲用HDFS，Yarn是其自帶的一個資源管理框架，而MapReduce是一個分布式計算框架，跑在Yarn上，配合HDFS用來做分布式數據計算。

Spark相當于MapReduce的改進版，寫分布式計算任務時，從代碼上看更簡潔，而且它支持大家都喜歡的python，上手比較快。

從目前的技術趨勢來看，Spark風頭正勁，而Hadoop、Storm的一些組件則在消退。分布式計算框架Hadoop MapReduce，以其穩(wěn)定性著稱。但他是基于磁盤IO的計算框架，在迭代計算和交互式數據挖掘方面性能較差。正是因為MapReduce的痛點，基于內存的計算框架Spark才應運而生。

當然，這些技術框架的學習，對有技術開發(fā)基礎的小伙伴，直接開始上手學習也沒問題，但是沒有是基礎薄弱轉行的小伙伴，需要先從打好基礎

日常生活中的大數據

上下班地鐵站

在一些大都市，地鐵對每一個上班族來說，肯定是在熟悉不過的事情，地鐵的人流量大家也是深有體會的，通過一個小小的公交卡片就能非?？旖莘奖闶占矫恳粋€地鐵站，每個時間段的客流量，根據這些客流量也能準確的計算出平時的出現高峰期，以及從而做出正確的決策，比如在哪個時間段，那個站點需要進行人流的控制來緩解交通出行的壓力。

每日的閱讀數據

現在基本上每個人都有一部智能手機，不論是商場，還是在家里，還是在其他任何地方，相信好多低頭族都在不停的刷著手機，也在每時每刻的的產生著海量數據。

每日的購物數據

各種各樣的電商網站，各種各樣的物品，都在時時刻刻的產生著海量的數據，自從有了互聯網，每分鐘的交易數與傳統(tǒng)的生意相比提高了成千上萬倍(遠遠不止成千上萬)。

更多培訓課程： 浦東新區(qū)大數據 更多學校信息： 上海浦東新區(qū)職坐標IT培訓 咨詢電話：