文 | Justin Ellingwood ，譯者 大愚若智

簡介

大數據是收集、整理、處理懲罰大容量數據集，并從中得到看法所需的非傳統計謀和技能的總稱。固然處理懲罰數據所需的計較本領或存儲容量早已高出一臺計較機的上限，但這種計較范例的普遍性、局限，以及代價在最近幾年才經驗了大局限擴展。

在之前的文章中，我們曾經先容過有關大數據系統的通例觀念、處理懲罰進程，以及各類專門術語，本文將先容大數據系統一個最根基的組件：處理懲罰框架。處理懲罰框架認真對系統中的數據舉辦計較，譬喻處理懲罰從非易失存儲中讀取的數據，或處理懲罰方才攝入到系統中的數據。數據的計較則是指從大量單一數據點中提取信息和看法的進程。

下文將先容這些框架：

僅批處理懲罰框架：

Apache Hadoop

僅流處理懲罰框架：

Apache Storm Apache Samza

殽雜框架：

Apache Spark Apache Flink 大數據處理懲罰框架是什么？

處理懲罰框架和處理懲罰引擎認真對數據系統中的數據舉辦計較。固然“引擎”和“框架”之間的區別沒有什么權威的界說，但大部門時候可以將前者界說為實際認真處理懲罰數據操縱的組件，后者則可界說為包袱雷同浸染的一系列組件。

譬喻Apache Hadoop可以看作一種以MapReduce作為默認處理懲罰引擎的處理懲罰框架。引擎和框架凡是可以彼此替換或同時利用。譬喻另一個框架Apache Spark可以納入Hadoop并代替MapReduce。組件之間的這種互操縱性是大數據系統機動性如此之高的原因之一。

固然認真處理懲罰生命周期內這一階段數據的系統凡是都很巨大，但從廣義層面來看它們的方針長短常一致的：通過對數據執行操縱提高領略本領，展現出數據蘊含的模式，并針對巨大互動得到看法。

為了簡化這些組件的接頭，我們會通過差異處理懲罰框架的設計意圖，憑據所處理懲罰的數據狀態對其舉辦分類。一些系統可以用批處理懲罰方法處理懲罰數據，一些系統可以用流方法處理懲罰持續不絕流入系統的數據。另外尚有一些系統可以同時處理懲罰這兩類數據。

在深入先容差異實現的指標和結論之前，首先需要對差異處理懲罰范例的觀念舉辦一個簡樸的先容。

批處理懲罰系統

批處理懲罰在大數據世界有著悠久的汗青。批處理懲罰主要操縱大容量靜態數據集，并在計較進程完成后返回功效。

批處理懲罰模式中利用的數據集凡是切合下列特征…

有界：批處理懲罰數據集代表數據的有限薈萃 耐久：數據凡是始終存儲在某種范例的耐久存儲位置中 大量：批處理懲罰操縱凡是是處理懲罰極為海量數據集的獨一要領

批處理懲罰很是適合需要會見全套記錄才氣完成的計較事情。譬喻在計較總數僻靜均數時，必需將數據集作為一個整體加以處理懲罰，而不能將其視作多筆記錄的薈萃。這些操縱要求在計較舉辦進程中數據維持本身的狀態。

需要處理懲罰大量數據的任務凡是最適適用批處理懲罰操縱舉辦處理懲罰。無論直接從耐久存儲設備處理懲罰數據集，或首先將數據集載入內存，批處理懲罰系統在設計進程中就充實思量了數據的量，可提供富裕的處理懲罰資源。由于批處理懲罰在應對大量耐久數據方面的表示極為精彩，因此常常被用于對汗青數據舉辦闡明。

大量數據的處理懲罰需要支付大量時間，因此批處理懲罰不適合對處理懲罰時間要求較高的場所。

Apache Hadoop

Apache Hadoop是一種專用于批處理懲罰的處理懲罰框架。Hadoop是首個在開源社區得到極大存眷的大數據框架?；诠雀栌嘘P海量數據處理懲罰所頒發的多篇論文與履歷的Hadoop從頭實現了相關算法和組件倉庫，讓大局限批處理懲罰技能變得更易用。

新版Hadoop包括多個組件，即多個層，通過共同利用可處理懲罰批數據：

HDFS：HDFS是一種漫衍式文件系統層，可對集群節點間的存儲和復制舉辦協調。HDFS確保了無法制止的節點妨礙產生后數據依然可用，可將其用作數據來歷，可用于存儲中間態的處理懲罰功效，并可存儲計較的最終功效。

YARN：YARN是Yet Another Resource Negotiator（另一個資源打點器）的縮寫，香港主機租用 香港高防服務器，可充當Hadoop倉庫的集群協調組件。該組件認真協調并打點底層資源和調治功課的運行。通過充當集群資源的接口，YARN使得用戶能在Hadoop集群中利用比以往的迭代方法運行更多范例的事情負載。

MapReduce：MapReduce是Hadoop的原生批處理懲罰引擎。

批處理懲罰模式

Hadoop的處理懲罰成果來自MapReduce引擎。MapReduce的處理懲罰技能切合利用鍵值對的map、shuffle、reduce算法要求。根基處理懲罰進程包羅：

從HDFS文件系統讀取數據集

將數據集拆分成小塊并分派給所有可用節點

針對每個節點上的數據子集舉辦計較（計較的中間態功效會從頭寫入HDFS）

從頭分派中間態功效并憑據鍵舉辦分組

通過對每個節點計較的功效舉辦匯總和組合對每個鍵的值舉辦“Reducing”

將計較而來的最終功效從頭寫入 HDFS

優勢和范圍