當下中國超大規模的單Master節點Hadoop集群在哪里?在淘寶。

據悉，淘寶Hadoop集群擁有2860個節點，清一色基于英特爾處理器的x86服務器，其總存儲容量50PB，實際使用容量超過40PB，日均作業數高達15萬，為淘寶網的日常運營做出了關鍵支撐。對了，它還有一個很美麗的名字：“云梯”。

近日，《網絡世界》記者有幸采訪到了阿里集團技術共享平臺核心系統研發部海量數據技術專家羅李。作為淘寶“云梯”集群元老級創建者，以及目前的負責人，他詳細講解了Hadoop在淘寶的應用與發展。

“云梯”的前世今生

“在2008年之前，淘寶內部一些業務團隊，紛紛搭建了自己的Hadoop集群，但規模都很小，出了問題也都各自解決。”羅李說，“考慮到淘寶的業務確實對分布式計算系統有需要，再加上這種分散模式小集群的資源利用率不高，整個集團就決定建立一個統一的、大的分布式計算集群，為各業務線服務。”

阿里集團技術共享平臺核心系統研發部海量數據技術專家 羅李

至于為什么選擇Hadoop，羅李表示，當時能夠達到商用水準的分布式計算技術也只有Hadoop。不過，他說：“當時整個淘寶并沒有一個對Hadoop內核真正了解的人，后來是抽調了雅虎中國的核心技術人員，在2008年10月成立了專門團隊。”

“2008年我也是剛進淘寶，就直接被分配到這個團隊，那時整個團隊包括我才四個人。到2009年，我們的‘云梯’集群剛搭起來的時候，才300臺規模。”羅李告訴記者。

短短不過四年時間，“云梯”集群已經擴張到近2900臺規模，成為中國規模最大的單Master節點Hadoop集群。而伴隨“云梯”集群成長的羅李，也成為了中國當下為數不多的、真正精通Hadoop的高級技術人才。

Hadoop在淘寶的發展

談起“云梯”集群名字的由來，這竟是一個有幾分“無心插柳柳成行”意味的故事。原來，出于安全性等多重考慮，當時阿里集團高層是決心自主研發一套有獨立自主知識產權的分布式計算系統，即后來代號為“飛天”的大規模分布式計算系統。而羅李他們研發的這個基于開源Hadoop技術的集群，最初只是被定位成一個臨時的、有過渡性質的系統，目的是讓淘寶的業務人員提前熟悉和使用分布式計算系統，待“飛天”成熟后再將業務移植過來。

“我們一開始就知道我們是為他們(‘飛天’系統)鋪路的，所以，既然他們叫‘飛天’，那我們就叫‘云梯’好了，隱含奉獻的意思。”羅李說。

只是，世事難料，大家都沒有想到，四年后的今天大數據和Hadoop會如此之火，發展前景堪稱一片光明，而淘寶憑借“云梯”集群也成為該技術領域的應用先鋒。當然，阿里集團一直在堅持研發“飛天”集群，并取得了階段性的成果。因此，在阿里集團內部，其實是“飛天”和“云梯”兩大分布式計算系統并立的局面。#p#

在應用中發展

從2009年的300臺發展到目前2860臺，這絕不只是一個機器簡單堆疊的過程，而是耗費了淘寶研發人員無數的智慧與汗水。Hadoop技術本身在淘寶也獲得了長足的發展。

淘寶對Hadoop進行深度重構的最重要一次實踐，當屬該公司根據自身的業務需求，開發了自己的Hadoop分支——ADFS。

據介紹，ADFS主要解決的是HDFS NameNode在設計上存在單點故障、內存瓶頸(因為所有的數據都是存入內存，長期以往，NameNode必將遭遇內存擴展瓶頸)，以及集群重啟時間過長，期間無法對集群進行寫操作等問題。

而ADFS原理簡單地說就是將非熱點數據存入“數據庫”，而非NameNode的內存。羅李說：“由于數據存放在數據庫里，只要數據庫‘不掛’就沒有問題，NameNode的單點故障問題由此解決，同時也一并解決了內存瓶頸。系統升級不需要再停機，重啟時間也由原來的一兩個小時縮短到5分鐘之內。總之，ADFS能提供10億文件/目錄的管理能力，其穩定性、性能和可維護性不輸于甚至優于現有系統。”此外，值得一提的是，淘寶已經將ADFS開源在GitHub之上。

另一大改進，就是為減少磁盤使用量而實施了HDFS Raid技術。

“HDFS出于可靠性考慮，都是將一份數據存成三份，這意味著1GB的數據占用了3GB的存儲容量，可靠性是有了，但經濟性并不好。HDFS Raid就相當于Raid 10，原來1GB的數據所需要的空間從原來的3GB降到2.4GB，對我們來講，就是上百萬資金的節省，而可靠性卻并沒有喪失。”羅李說。

不過，羅李表示，HDFS Raid技術來源于Facebook，他們是在Facebook提供的版本上做了些改進。

此外，還一個無法被描述成“項目”的改進就是持續不斷地“優化”。“雖然Hadoop的優勢之一就是不夠了就可以加機器，但加機器意味著更大的存儲容量、更大的計算需求和更大的網絡流量，對主節點都會帶來新的壓力，因此，每次在擴展之前，我們都要對系統進行評估，都需要優化代碼。”羅李說。

羅李頗為驕傲地告訴記者，由于不斷地對Hadoop內核進行優化，淘寶版本的Hadoop在性能上“比一些社區的Hadoop版本高出30%~50%”。

“畢竟，我們這么大的規模作支撐。因為系統的性能瓶頸只有在一定規模下才能暴露，而我們甚至將Java內核的漏洞都跑出來了。”羅李說。

不過，羅李坦承，自從今年七月份新的“云梯”版本上線之后，他們發現通過優化代碼提高系統性能的空間越來越小了。“所以，我們開始和運維團隊一起合作，打算去從硬件層面下手，例如購買更高性能的CPU、閃存、萬兆網卡等。事實上，我們現在最緊缺的資源就是CPU和磁盤。”他說。

同時，羅李指出，對很多公司而言，在規模不是特別大的情況下，通過購買更強勁的硬件來提高集群性能也是一個好辦法，而且其成本不一定比維持一支技術團隊要高。而硬件產業鏈的上游廠商英特爾則公開表示，英特爾未來首要任務之一，就是要打造適用于大數據應用的“芯”，該公司今年三月發布的全新至強處理器E5產品家族，就能為分布式計算帶來更優性能、能效、可擴展性和可管理性。同時，英特爾還將幫助合作伙伴打造可承載大數據應用的基礎設施。

關于“云梯”集群未來的發展方向，羅李表示，短期內是存儲結構和技術進行優化部署ADFS，并且開發HDFS NameNode HA技術，而長期來說，“云梯”將演變成多Master節點Hadoop集群。

如今，Hadoop之火有目共睹，那什么樣的公司適合采嘗試這一新興技術?羅李回答道：“還應該是從業務角度出發。有海量數據需要處理，并且計算模型并不太復雜，對數據進行處理的過程可以分成一個個小的步驟去完成，就可以嘗試Hadoop 技術。”