我們的數(shù)據(jù)來自各個(gè)方面，在面對(duì)龐大而復(fù)雜的大數(shù)據(jù)，選擇一個(gè)合適的處理工具顯得很有必要，一個(gè)好的工具不僅可以使我們的工作事半功倍，也可以讓我們?cè)诟偁幦找婕ち业脑朴?jì)算時(shí)代，挖掘大數(shù)據(jù)價(jià)值，及時(shí)調(diào)整戰(zhàn)略方向。
    大數(shù)據(jù)是一個(gè)含義廣泛的術(shù)語，是指數(shù)據(jù)集，如此龐大而復(fù)雜的，他們需要專門設(shè)計(jì)的硬件和軟件工具進(jìn)行處理。該數(shù)據(jù)集通常是萬億或EB的大小。大數(shù)據(jù)產(chǎn)生的其他例子包括購買交易記錄、網(wǎng)絡(luò)日志、病歷、事監(jiān)控、視頻和圖像檔案、及大型電子商務(wù)。大數(shù)據(jù)分析是在研究大量的數(shù)據(jù)的過程中尋找模式，相關(guān)性和其他有用的信息，可以幫助企業(yè)更好地適應(yīng)變化，并做出更明智的決策。
一、Hadoop
Hadoop 是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。Hadoop 是高效的，因?yàn)樗圆⑿械姆绞焦ぷ鳎ㄟ^并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級(jí)數(shù)據(jù)。此外，Hadoop 依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。
二、Storm
Storm是自由的開源軟件，一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Storm可以非常可靠的處理龐大的數(shù)據(jù)流，用于處理Hadoop的批量數(shù)據(jù)。Storm很簡單，支持許多種編程語言，使用起來非常有趣。Storm有許多應(yīng)用領(lǐng)域：實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、不停頓的計(jì)算、分布式ETL即數(shù)據(jù)抽取、轉(zhuǎn)換和加載等。Storm的處理速度驚人：經(jīng)測 試，每個(gè)節(jié)點(diǎn)每秒鐘可以處理100萬個(gè)數(shù)據(jù)元組。Storm是可擴(kuò)展、容錯(cuò)，很容易設(shè)置和操作。
三、Apache Drill
為了幫助企業(yè)用戶尋找更為有效、加快Hadoop數(shù)據(jù)查詢的方法，Apache軟件基金會(huì)近日發(fā)起了一項(xiàng)名為“Drill”的開源項(xiàng)目。
通過開發(fā)“Drill”Apache開源項(xiàng)目，組織機(jī)構(gòu)將有望建立Drill所屬的API接口和靈活強(qiáng)大的體系架構(gòu)，從而幫助支持廣泛的數(shù)據(jù)源、數(shù)據(jù)格式和查詢語言。
四、RapidMiner
RapidMiner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，在一個(gè)非常大的程度上有著先進(jìn)技術(shù)。它數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛，包括各種數(shù)據(jù)藝術(shù)，能簡化數(shù)據(jù)挖掘過程的設(shè)計(jì)和評(píng)價(jià)。
五、Pentaho BI
Pentaho BI?平臺(tái)不同于傳統(tǒng)的BI 產(chǎn)品，它是一個(gè)以流程為中心的，面向解決方案的框架。其目的在于將一系列企業(yè)級(jí)BI產(chǎn)品、開源軟件、API等等組件集成起來，方便商務(wù)智能應(yīng)用的開發(fā)。
Pentaho BI平臺(tái)構(gòu)建于服務(wù)器，引擎和組件的基礎(chǔ)之上。這些提供了系統(tǒng)的J2EE 服務(wù)器，安全，工作流，規(guī)則引擎，圖表，協(xié)作，內(nèi)容管理，數(shù)據(jù)集成，分析和建模功能。這些組件的大部分是基于標(biāo)準(zhǔn)的，可使用其他產(chǎn)品替換之。


上海西線學(xué)院官/

高薪等你來拿，快來報(bào)名吧！

西線學(xué)院是國內(nèi)數(shù)據(jù)分析師培訓(xùn)教育機(jī)構(gòu)領(lǐng)軍品牌，致力于互聯(lián)網(wǎng)數(shù)據(jù)分析師培訓(xùn)，大數(shù)據(jù)培訓(xùn)實(shí)戰(zhàn)型人才孵化與培養(yǎng)，是國內(nèi)成員之一互聯(lián)網(wǎng)數(shù)據(jù)分析EDA和N+N實(shí)訓(xùn)模式的實(shí)踐者,數(shù)據(jù)分析師培訓(xùn)權(quán)威機(jī)構(gòu)。