隨著社交媒體、物聯(lián)網(wǎng)和多媒體應用等各種來源產(chǎn)生的海量數(shù)據(jù)的誕生，大數(shù)據(jù)已經(jīng)成為一個重要的研究領域。大數(shù)據(jù)在許多決策和預測領域發(fā)揮了關鍵作用，如推薦系統(tǒng)、商業(yè)分析、醫(yī)療保健、網(wǎng)絡展示廣告、臨床醫(yī)生、交通、欺詐檢測和旅游營銷。Hadoop、Storm、Spark、Flink、Kafka和Pig等各種大數(shù)據(jù)工具的研究和工業(yè)界的快速發(fā)展，使得大規(guī)模數(shù)據(jù)得以分發(fā)、交流和處理[1]。大數(shù)據(jù)應用程序使用大數(shù)據(jù)分析技術來高效地分析大數(shù)據(jù)。

然而，由于大數(shù)據(jù)在處理和應用方面的挑戰(zhàn)，開發(fā)人員選擇合適的大數(shù)據(jù)工具來開發(fā)大數(shù)據(jù)系統(tǒng)非常困難。因此，本文提出了一個分類方案，根據(jù)不同的數(shù)據(jù)處理方式對大數(shù)據(jù)工具進行分類。

大數(shù)據(jù)工具的分類

大數(shù)據(jù)計算主要有三種工具，即批處理工具、流處理工具和混合處理工具。大多數(shù)批處理數(shù)據(jù)分析框架都基于Apache Hadoop。流式數(shù)據(jù)分析框架主要是實時應用中使用的Storm、S4和Flink。混合處理工具利用批處理和流處理的優(yōu)點來計算大量數(shù)據(jù)。

批處理工具

批處理建模并將數(shù)據(jù)湖的文件轉換為批處理視圖，為分析用例做好準備。它負責安排和執(zhí)行批量迭代算法，如排序、搜索、索引或更復雜的算法，如PageRank、貝葉斯分類或遺傳算法。批處理主要由MapReduce編程模型表示。

Apache Hadoop是一個眾所周知的批處理框架，它支持在集群上分布式存儲和處理大型數(shù)據(jù)。它是一個基于Java的開源框架，被Facebook、Yahoo和Twitter用于存儲和處理大數(shù)據(jù)。Hadoop主要由兩個組件組成：(1)Hadoop分布式文件系統(tǒng)(HDFS)，其中集群節(jié)點之間的數(shù)據(jù)存儲是分布式的;(2)Hadoop MapReduce引擎，它將數(shù)據(jù)處理分配給集群的節(jié)點[2]。

圖 1 Hadoop的MapReduce

Apache Pig是Hadoop生態(tài)系統(tǒng)的一個不可或缺的組件，它通過在Hadoop上并行執(zhí)行數(shù)據(jù)流來減少數(shù)據(jù)分析時間。Pig是一種結構化查詢語言(SQL)，被LinkedIn、Twitter、Yahoo等大型組織使用。該平臺的腳本語言稱為Pig Latin，它將MapReduce中的編程復雜性從其他語言(如Java)抽象為高級語言。Pig是一個最完整的平臺，因為它可以通過直接調(diào)用用戶定義函數(shù)(UDF)來調(diào)用JavaScript、Java、Jython和JRuby等多種語言的代碼。因此，開發(fā)人員可以使用Pig在Hadoop中完成所有必需的數(shù)據(jù)操作。Pig可以作為一個具有相當多并行性的組件，用于構建復雜而繁重的應用程序。

Flume被用作向Hadoop提供數(shù)據(jù)的工具。與處理框架一起，需要一個消息傳遞層來訪問和轉發(fā)流數(shù)據(jù)。Apache Flume是提供這一功能的較為成熟的選項之一。Flume一直是數(shù)據(jù)饋送的著名應用程序。它很好地嵌入到整個Hadoop生態(tài)系統(tǒng)中，并獲得了所有商業(yè)Hadoop發(fā)行版的支持。這使得Flume成為開發(fā)者的主要選擇[3]。

流處理工具

Hadoop是為批處理而設計的。Hadoop是一個多用途引擎，但由于其延遲，它不是一個實時和高性能的引擎。在一些流數(shù)據(jù)應用中，如日志文件處理、工業(yè)傳感器和遠程通信，需要實時響應和處理流式大數(shù)據(jù)。因此，有必要對流處理進行實時分析。流式大數(shù)據(jù)需要實時分析，因為大數(shù)據(jù)具有高速、大容量和復雜的數(shù)據(jù)類型，對于Map/Reduce框架將是一個挑戰(zhàn)。因此，Storm、S4、Splunk和Apache Kafka等流處理的實時大數(shù)據(jù)平臺已被開發(fā)為第二代數(shù)據(jù)流處理平臺用于實時分析數(shù)據(jù)，實時處理意味著連續(xù)數(shù)據(jù)處理需要極低的響應延遲[4]。

Storm是實時分析中最受認可的數(shù)據(jù)流處理程序之一，專注于可靠的消息處理。Storm是一個免費、開源的分布式流媒體處理環(huán)境，用于開發(fā)和運行分布式程序，處理源源不斷的數(shù)據(jù)流。因此，可以說Storm是一個開源、通用、分布式、可擴展和部分容錯的平臺，可以可靠地處理無限的數(shù)據(jù)流以進行實時處理。Storm的一個優(yōu)點是，開發(fā)人員可以專注于使用穩(wěn)定的分布式進程，同時將分布式/并行處理的復雜性和技術挑戰(zhàn)(如構建復雜的恢復機制)委托給框架。Storm是一個復雜的事件處理器和分布式計算框架，基本上是用Clojure編程語言編寫的。它是一個分布式實時計算系統(tǒng)，用于快速處理大數(shù)據(jù)流。Storm是一個分布式/并行框架，由Nimbus、Supervisor和Zookeeper組成，如圖2所示。Storm集群主要由主節(jié)點和工作節(jié)點組成，由Zookeeper進行協(xié)調(diào)。

圖2 Storm拓撲的示例

S4是一個受MapReduce模型啟發(fā)的分布式流處理平臺。流的操作由用戶代碼和用XML描述的配置作業(yè)指定。S4是一個通用的、容錯的、可擴展的、分布式的、可插拔的計算框架，程序員可以輕松地開發(fā)用于處理連續(xù)無界數(shù)據(jù)流的應用程序。它最初由Yahoo 2010年發(fā)布，并從2011年起成為Apache孵化器項目。S4允許程序員基于幾個有競爭力的特性開發(fā)應用程序，包括可伸縮性、分散性、健壯性、可擴展性和集群管理。S4是用Java編寫的。S4作業(yè)的任務是模塊化和可插拔，以便于動態(tài)處理大規(guī)模流數(shù)據(jù)。S4使用Apache ZooKeeper來管理集群，就像Storm一樣。

Kafka是一個開源的分布式流媒體框架，最初由LinkedIn在2010年開發(fā)。它是一個靈活的發(fā)布-訂閱消息傳遞系統(tǒng)，旨在快速、可擴展，并通常用于日志收集。Kafka是用Scala和Java編寫的。它有一個多生產(chǎn)者管理系統(tǒng)，能夠從多個來源獲取消息。通常，Kafka的數(shù)據(jù)分區(qū)和保留功能使其成為容錯事務收集的有用工具。這是因為應用程序可以開發(fā)和訂閱記錄流，具有容錯保證，并且可以在記錄流出現(xiàn)時對其進行處理。

Flink是一個流式處理工具，旨在解決微批量模型衍生的問題。Flink還支持使用Scala和Java中的編程抽象進行批處理數(shù)據(jù)處理，盡管它被視為流處理的特例。在Flink中，每個作業(yè)都作為流計算執(zhí)行，每個任務都作為循環(huán)數(shù)據(jù)流執(zhí)行，并進行多次迭代。Flink還提供了一種復雜的容錯機制，以一致地恢復數(shù)據(jù)流應用程序的狀態(tài)。該機制生成分布式數(shù)據(jù)流和操作員狀態(tài)的一致快照。如果出現(xiàn)故障，系統(tǒng)可以退回到這些快照。FlinkML的目標是為Flink用戶提供一套可伸縮的機器學習算法和直觀的API。

Apache Spark是Hadoop最新的替代方案。它包括一個名為MLlib的額外組件，這是一個面向機器學習算法的庫，例如：聚類、分類、回歸，甚至數(shù)據(jù)預處理[6]。由于Spark的容量，批量和流式分析可以在同一平臺上完成。Spark的開發(fā)是為了克服Hadoop的缺點，即它沒有針對迭代算法和交互式數(shù)據(jù)分析進行優(yōu)化，后者對同一組數(shù)據(jù)執(zhí)行多個操作。Spark被定義為下一代分布式計算框架的核心，由于其內(nèi)存密集型方案，它可以在內(nèi)存中快速處理大容量數(shù)據(jù)集。

混合處理工具

混合處理使大數(shù)據(jù)平臺進入第三代成為可能，因為它是大數(shù)據(jù)應用中許多領域所必需的。該范例綜合了基于Lambda架構的批處理和流處理范例。Lambda體系結構是一種數(shù)據(jù)處理體系結構，旨在通過利用批處理和流處理方法來處理大量數(shù)據(jù)。這個范例的高級架構包含三層。批處理層管理已存儲在分布式系統(tǒng)中且不可更改的主數(shù)據(jù)集，服務層加載并在數(shù)據(jù)存儲中公開批處理層的視圖以供查詢，而速度層只處理低延遲的新數(shù)據(jù)。最后，通過批處理和實時視圖的組合，將完整的結果合并[7]。

圖3 Lambda架構

引 用

[1] Mohamed A, Najafabadi M K, Wah Y B, et al. The state of the art and taxonomy of big data analytics: view from new big data framework[J]. Artificial Intelligence Review, 2020, 53(2): 989-1037.

[2] Singh H, Bawa S. A MapReduce-based scalable discovery and indexing of structured big data[J]. Future generation computer systems, 2017, 73: 32-43.

[3] Bharti S K, Vachha B, Pradhan R K, et al. Sarcastic sentiment detection in tweets streamed in real time: a big data approach[J]. Digital Communications and Networks, 2016, 2(3): 108-121.

[4] Manco G, Ritacco E, Rullo P, et al. Fault detection and explanation through big data analysis on sensor streams[J]. Expert Systems with Applications, 2017, 87: 141-156.

[5] Tennant M, Stahl F, Rana O, et al. Scalable real-time classification of data streams with concept drift[J]. Future Generation Computer Systems, 2017, 75: 187-199.

[6] Ai W, Li K, Li K. An effective hot topic detection method for microblog on spark[J]. Applied Soft Computing, 2018, 70: 1010-1023.

[7] Hasani Z, Kon-Popovska M, Velinov G. Lambda architecture for real time big data analytic[J]. ICT Innovations, 2014: 133-143.