Hadoop在一些企業(yè)陳設(shè)時(shí)，往往會(huì)碰著多個(gè)用戶各自建設(shè)的數(shù)據(jù)處理懲罰事情的環(huán)境。這些事情都運(yùn)行在同一個(gè)Hadoop系統(tǒng)上時(shí)，他們之間大概會(huì)互相斗嘴，爭(zhēng)奪可用的處理懲罰器資源。
David Clubb，在移動(dòng)游戲平臺(tái)和市場(chǎng)公司Chartboost的高級(jí)數(shù)據(jù)工程師，試圖優(yōu)化大數(shù)據(jù)技能，晉升產(chǎn)物體驗(yàn)時(shí)，也碰著了Hadoop集群打點(diǎn)的問(wèn)題。“我們正在更新Hadoop軟件，并試圖將其遷移到新的集群，但并沒(méi)有找到監(jiān)控集群的好要領(lǐng),”Clubb說(shuō)道。“你可以看到事情在運(yùn)行，但你卻不能看到其所利用的資源。”
這樣顯然不太好，因?yàn)榈蛢?yōu)先級(jí)的提取、轉(zhuǎn)換和加載進(jìn)程和闡明事情大概會(huì)占用CPU周期，而具有更高的優(yōu)先級(jí)的事情，譬喻及時(shí)的陳訴，所得到的 CPU周期就會(huì)相對(duì)淘汰。與此同時(shí)，集群中的一些計(jì)較節(jié)點(diǎn)大概沒(méi)有被充實(shí)操作，Clubb說(shuō)道。這個(gè)問(wèn)題促使他實(shí)現(xiàn)了一套新的軟件，提供一個(gè)更便捷的窗口來(lái)調(diào)查集群資源的勾當(dāng)和和及時(shí)優(yōu)化處理懲罰東西的事情負(fù)載，個(gè)中包羅MapReduce、Hive和Spark等應(yīng)用措施。
用了YARN，卻在原地踏步
本年安裝的Hadoop系統(tǒng)天天處理懲罰10億多個(gè)事件，建設(shè)一個(gè)復(fù)雜的數(shù)據(jù)池，以供業(yè)務(wù)產(chǎn)物線司理利用，通過(guò)這些數(shù)據(jù)，產(chǎn)物司理可以相識(shí) Chartboost平臺(tái)被玩家和游戲開(kāi)拓者利用的環(huán)境。首先，Chartboost，運(yùn)行在Cloudera陳設(shè)在Amazon Web Services 云情況上的Hadoop漫衍式平臺(tái)上，僅僅依靠開(kāi)源框架內(nèi)置的Hadoop YARN調(diào)治措施調(diào)解其事情負(fù)載。但利用YARN，并沒(méi)有讓這家舊金山的公司能對(duì)高優(yōu)先級(jí)事情有什么非凡的處理懲罰，Clubb說(shuō)。 他增補(bǔ)說(shuō)道，Hadoop建設(shè)了一些信息，用于集群打點(diǎn)，但由于其開(kāi)源的架構(gòu)的特性，數(shù)據(jù)被分到差異的處所。廉價(jià)的劇本可以辦理的一些打點(diǎn)問(wèn)題，但照舊不敷以辦理所有問(wèn)題。
厥后，Clubb發(fā)明創(chuàng)業(yè)公司Pepperdata可以或許提供更深條理的視圖，通過(guò)該視圖可以調(diào)查Hadoop集群的I / O、內(nèi)存和CPU利用環(huán)境。對(duì)付Chartboost更重要的是，Pepperdata軟件可以自動(dòng)低落低優(yōu)先級(jí)事情的占用，給以高優(yōu)先級(jí)應(yīng)用措施特另外運(yùn)行空間，并確保集群中所有的計(jì)較節(jié)點(diǎn)盡大概被有效地操作。
“我們?cè)噲D找出打點(diǎn)事情負(fù)載的最好方法——你必定不想太過(guò)利用或未充實(shí)利用你的節(jié)點(diǎn),”Clubb說(shuō)道。“Pepperdata讓硬件的利用更高效。它可以動(dòng)態(tài)地調(diào)解事情。” 利用這個(gè)軟件，淘汰了公司所需集群節(jié)點(diǎn)的數(shù)量，節(jié)省了Chartboost在云計(jì)較上的耗費(fèi)。Clubb說(shuō)，其Hadoop系統(tǒng)今朝有22個(gè)節(jié)點(diǎn)，本來(lái)的陳設(shè)時(shí)則有33個(gè)節(jié)點(diǎn)。
多重Hadoop打點(diǎn)選項(xiàng)
Pepperdata是很多供給商中的一員，這些供給商包羅傳統(tǒng)的系統(tǒng)打點(diǎn)軟件制造商，Hadoop漫衍提供者和雷同Concurrent之類的創(chuàng)業(yè)公司，他們采納差異的方法來(lái)舉辦Hadoop集群打點(diǎn)流程的自動(dòng)化。位于Sunnyvale, Calif的Pepperdata公司首創(chuàng)人之一，Chad Carson暗示，基于處理懲罰優(yōu)先級(jí)的自適應(yīng)調(diào)解是Pepperdata軟件的要害元素。 當(dāng)公司把Hadoop大數(shù)據(jù)處事投入到出產(chǎn)利用中，IT團(tuán)隊(duì)大概需要將擔(dān)保應(yīng)用措施的機(jī)能作為處事程度協(xié)議的一部門(mén)，Carson 說(shuō)。他認(rèn)為，領(lǐng)略如何操作Hadoop集群資源，并按照所需進(jìn)動(dòng)作態(tài)修改，對(duì)付企業(yè)來(lái)說(shuō)會(huì)越來(lái)越重要。
Hadoop生態(tài)系統(tǒng)的新成員，好比Apache Spark處理懲罰引擎，大概會(huì)進(jìn)一步加劇集群打點(diǎn)問(wèn)題，Carson增補(bǔ)說(shuō)。“Spark能做的更多，也更快，”他說(shuō)。”但它在利用中存在岑嶺期，你會(huì)看到 Spark的事情滋擾到了其他事情。可能你會(huì)看到一個(gè)Spark或HBase事情負(fù)載被延遲所約束，或被低優(yōu)先級(jí)的MapReduce[事情]過(guò)問(wèn)干與。”
Hadoop集群打點(diǎn)中的“交通警員”
像Pepperdata一類的軟件可以輔佐企業(yè)辦理一些阻礙Hadoop利用的問(wèn)題，，Mike Matchett—位于Hopkinton, Mass的 Taneja Group公司闡明師如是說(shuō)。 “做一個(gè)應(yīng)用措施機(jī)能打點(diǎn)系統(tǒng)是一回事——而做一個(gè)可以動(dòng)態(tài)地優(yōu)化系統(tǒng)的及時(shí)節(jié)制器是別的一碼事，”Matchett 說(shuō)道。“假如陳設(shè)了一個(gè)大的集群，且用于多重用途，那么你就需要一個(gè)“交通警員”。 對(duì)付Clubb來(lái)說(shuō)，下一步大概會(huì)增加Spark的利用，以處理懲罰Hadoop數(shù)據(jù)。他提到，早前的事情，利用Pepperdata的軟件支持處理懲罰引擎對(duì) Chartboost有了努力的功效。Clubb說(shuō)，他有信心可以遷移更多的事情流到Spark，且不會(huì)碰著之前的集群打點(diǎn)問(wèn)題，“更多事情意味著你更有大概耗盡所有的資源。”
