【東網(wǎng)技術(shù)大咖帶您走進(jìn)Hadoop】當(dāng)Hadoop邂逅大數(shù)據(jù) 會碰撞出怎樣的火花？
發(fā)布時間： 2017-01-23 12:12:22
Hadoop是什么？有哪些應(yīng)用？Hadoop和大數(shù)據(jù)又是什么關(guān)系?接下來將圍繞這幾個問題展開闡述。
Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲。Hadoop實(shí)現(xiàn)了一個分布式文件系統(tǒng)(Hadoop Distributed File System)，簡稱HDFS。
HDFS有高容錯性的特點(diǎn)，并且設(shè)計用來部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集(large data set)的應(yīng)用程序。HDFS放寬了(relax)POSIX的要求，可以以流的形式訪問(streaming access)文件系統(tǒng)中的數(shù)據(jù)。
Hadoop的框架最核心的設(shè)計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。
Hadoop由 Apache Software Foundation 公司于 2005 年秋天作為Lucene的子項(xiàng)目Nutch的一部分正式引入。它受到最先由 Google Lab 開發(fā)Map/Reduce 和 Google File System(GFS) 的啟發(fā)。
2006 年 3 月份，Map/Reduce 和 Nutch Distributed File System (NDFS) 分別被納入稱為 Hadoop 的項(xiàng)目中。
Hadoop 是在 Internet 上對搜索關(guān)鍵字進(jìn)行內(nèi)容分類最受歡迎的工具，但它也可以解決許多要求極大伸縮性的問題。例如，如果您要 grep 一個 10TB 的巨型文件，會出現(xiàn)什么情況?在傳統(tǒng)的系統(tǒng)上，這將需要很長的時間。但是 Hadoop 在設(shè)計時就考慮到這些問題，采用并行執(zhí)行機(jī)制，因此能大大提高效率。
Hadoop原本來自于谷歌一款名為MapReduce的編程模型包。谷歌MapReduce框架可以把一個應(yīng)用程序分解為許多并行計算指令，跨大量的計算節(jié)點(diǎn)運(yùn)行非常巨大的數(shù)據(jù)集。使用該框架的一個典型例子就是在網(wǎng)絡(luò)數(shù)據(jù)上運(yùn)行的搜索算法。Hadoop 最初只與網(wǎng)頁索引有關(guān)，迅速發(fā)展成為分析大數(shù)據(jù)的領(lǐng)先平臺。
目前有很多公司開始提供基于Hadoop的商業(yè)軟件、支持、服務(wù)以及培訓(xùn)。Cloudera是一家美國的企業(yè)軟件公司，該公司在2008年開始提供基于Hadoop的軟件和服務(wù)。GoGrid是一家云計算基礎(chǔ)設(shè)施公司，2012年，該公司與Cloudera合作加速了企業(yè)采納基于Hadoop應(yīng)用的步伐。Dataguise公司是一家數(shù)據(jù)安全公司，同樣在2012年該公司推出了一款針對Hadoop的數(shù)據(jù)保護(hù)和風(fēng)險評估。
美國國會圖書館是全球最大的圖書館，自1800年設(shè)立至今，收藏了超過1.5億個實(shí)體對象，包括書籍、影音、老地圖、膠卷等，數(shù)字?jǐn)?shù)據(jù)量也達(dá)到了235TB，但美國eBay拍賣網(wǎng)站，8千萬名用戶每天產(chǎn)生的數(shù)據(jù)量就有50TB，5天就相當(dāng)于1座美國國會圖書館的容量。
在國外，不只eBay這種跨國電子商務(wù)業(yè)者感受到巨量數(shù)據(jù)的沖擊，其他如美國連鎖超市龍頭沃爾瑪、發(fā)行信用卡的Visa公司等，在臺灣如臺灣集成電路(臺積電)、中華電信等手上擁有大量顧客資料的企業(yè)，都紛紛感受到這股如海嘯般來襲的Big Data巨量資料浪潮。這樣的巨量數(shù)據(jù)并非是沒有價值的數(shù)據(jù)，其中潛藏了許多使用者親身經(jīng)驗(yàn)的第一手原始數(shù)據(jù)，不少企業(yè)更是從中嗅到了商機(jī)。
這些企業(yè)紛紛向最早面臨大數(shù)據(jù)挑戰(zhàn)的搜索引擎業(yè)者Google、Yahoo取經(jīng)，學(xué)習(xí)處理巨量數(shù)據(jù)的技術(shù)和經(jīng)驗(yàn)，其中，最受這些企業(yè)青睞，用來解決巨量數(shù)據(jù)難題的技術(shù)就是Apache基金會的分布式計算技術(shù)Hadoop。
應(yīng)用案例1-全球最大超市業(yè)者沃爾瑪
沃爾瑪雖然十年前就投入在線電子商務(wù)，但在線銷售的營收遠(yuǎn)遠(yuǎn)落后于亞馬遜（Amazon）。后來，沃爾瑪決定采用Hadoop來分析顧客搜尋商品的行為，以及用戶透過搜索引擎尋找到沃爾瑪網(wǎng)站的關(guān)鍵詞，利用這些關(guān)鍵詞的分析結(jié)果發(fā)掘顧客需求，以規(guī)畫下一季商品的促銷策略。他們并進(jìn)一步打算要分析顧客在Facebook、Twitter等社交網(wǎng)站上對商品的討論，甚至沃爾瑪能比父親更快知道女兒懷孕的消息，并且主動寄送相關(guān)商品的促銷郵件，可說是比競爭對手提前一步發(fā)現(xiàn)顧客。
應(yīng)用案例2-全球最大拍賣網(wǎng)站 eBay
經(jīng)營拍賣業(yè)務(wù)的eBay則是用Hadoop來分析買賣雙方在網(wǎng)站上的行為。eBay擁有全世界最大的數(shù)據(jù)倉儲系統(tǒng)，每天增加的數(shù)據(jù)量有50TB，光是儲存就是一大挑戰(zhàn)，更遑論要分析這些數(shù)據(jù)，而且更困難的挑戰(zhàn)是這些數(shù)據(jù)報括了結(jié)構(gòu)化的數(shù)據(jù)和非結(jié)構(gòu)化的數(shù)據(jù)，如照片、影片、電子郵件、用戶的網(wǎng)站瀏覽Log記錄等。eBay正是用Hadoop來解決同時要分析大量結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化的難題。
eBay分析平臺高級總監(jiān)Oliver Ratzesberger也坦言，大數(shù)據(jù)分析最大的挑戰(zhàn)就是要同時處理結(jié)構(gòu)化以及非結(jié)構(gòu)化的數(shù)據(jù)。
eBay在5年多前就另外建置了一個軟硬件整合的平臺Singularity，搭配壓縮技術(shù)來解決結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)分析問題，3年前更在這個平臺整合了Hadoop來處理非結(jié)構(gòu)化數(shù)據(jù)，透過Hadoop來進(jìn)行數(shù)據(jù)預(yù)先處理，將大塊結(jié)構(gòu)的非結(jié)構(gòu)化數(shù)據(jù)拆解成小型數(shù)據(jù)，再放入數(shù)據(jù)倉儲系統(tǒng)的數(shù)據(jù)模型中分析，來加快分析速度，也減輕對數(shù)據(jù)倉儲系統(tǒng)的分析負(fù)載。
應(yīng)用案例3-全球最大信用卡公司 Visa
Visa公司則是擁有一個全球最大的付費(fèi)網(wǎng)絡(luò)系統(tǒng)VisaNet，作為信用卡付款驗(yàn)證之用。2009年時，每天就要處理1.3億次授權(quán)交易和140萬臺ATM的聯(lián)機(jī)存取。為了降低信用卡各種詐騙、盜領(lǐng)事件的損失，Visa公司得分析每一筆事務(wù)數(shù)據(jù)，來找出可疑的交易。雖然每筆交易的數(shù)據(jù)記錄只有短短200位，但每天VisaNet要處理全球上億筆交易，2年累積的資料多達(dá)36TB，過去光是要分析5億個用戶賬號之間的關(guān)聯(lián)，得等1個月才能得到結(jié)果，所以，Visa也在2009年時導(dǎo)入了Hadoop，建置了2套Hadoop叢集(每套不到50個節(jié)點(diǎn))，讓分析時間從1個月縮短到13分鐘，更快速地找出了可疑交易，也能更快對銀行提出預(yù)警，甚至能及時阻止詐騙交易。
Hadoop這套被眾多企業(yè)賴以解決大數(shù)據(jù)難題的分布式計算技術(shù)，并不是一項(xiàng)全新的技術(shù)，早在2006年就出現(xiàn)了，而且Hadoop的核心技術(shù)原理，更是源自Google打造搜索引擎的關(guān)鍵技術(shù)，后來由Yahoo支持的開源開發(fā)團(tuán)隊(duì)發(fā)展成一套Hadoop分布式計算平臺，也成為Yahoo內(nèi)部打造搜索引擎的關(guān)鍵技術(shù)。
閩公網(wǎng)安備 35010202001006號