黑客故事：12個月造Facebook開源服務(wù)器
導(dǎo)讀：Facebook從開源服務(wù)器、數(shù)據(jù)中心直到剛剛宣布將開源存儲方案，F(xiàn)acebook正在幫助互聯(lián)網(wǎng)企業(yè)除去那些昂貴而且不必要的組件來降低成本，從新設(shè)計供電、主板和散熱系統(tǒng)，并將方案分享給所有人。Wired記者Cade Metz對Facebook的系統(tǒng)工程經(jīng)理Amir Michael進(jìn)行了采訪，為我們描繪了Facebook開源服務(wù)器和數(shù)據(jù)中心的誕生過程。你很難想象，Michael和他的團(tuán)隊僅僅用了12個月就完成了這一切。
▲Amir Michael在Faceobook的服務(wù)器實驗室
Amir Michael在Facebook工作，作為一名黑客這沒有什么值得驚訝的。但他并非一名傳統(tǒng)意義的軟件黑客，而是一名硬件黑客——在作為臨時實驗室的收發(fā)室里。
到2010年底，F(xiàn)acebook在Palo Alto的總部碼頭不再接收任何貨物。Michael和另外幾名工程師隨之涌入，因為他們需要建立更大的服務(wù)器實驗室，這不，他們已經(jīng)在隔壁建立了存儲房間。
這里曾是發(fā)貨碼頭，在地板上有一個巨大的標(biāo)尺。有時候，這個巨大的標(biāo)尺用來給包裹稱重。當(dāng)Michael和他的團(tuán)隊搬進(jìn)來后，標(biāo)尺用來測量從零開始制造的服務(wù)器。12個月后，他們?yōu)镻rineville數(shù)據(jù)中心設(shè)計的服務(wù)器完成，其中一臺放在標(biāo)尺上。他愛不釋手，這個服務(wù)器已經(jīng)批量生產(chǎn)并在世界各地使用。
Michael制造的服務(wù)器輕了10磅。
像其他互聯(lián)網(wǎng)巨頭一樣，F(xiàn)acebook為他的互聯(lián)網(wǎng)帝國提供了大量數(shù)據(jù)中心網(wǎng)絡(luò)和服務(wù)器，投入巨大，很多很多錢。如果你要為上億的用戶提供網(wǎng)頁，就需要花掉大量的金錢，不僅僅要購買硬件，而且要為這些硬件提供電力。從某種角度上說，你真的花了太多錢了。你需要的東西與世界上的任何一件東西都不一樣。
2009年春天，F(xiàn)acebook將Michael招募進(jìn)來，幫助公司提高效率。“我的主管和我說：‘嘿，來吧，我們有很多架構(gòu)要建立，我們要做許多創(chuàng)新，更加經(jīng)濟(jì)以及更高的能源效率’”，Michael回憶。“我問道有沒有什么具體的目標(biāo)么?他說：‘沒有。為什么不來加入我們并找到它呢?’”于是，Michael就做了這些。
為了保持Facebook世界知名“黑客文化”，他從一塊空白的地板開始，利用能觸手可及的一切東西，以工程師的瘋狂速度建造了Facebook IT存儲間以及隔壁的收貨“碼頭”。結(jié)果就是一個全新的服務(wù)器誕生了，不僅能效高、更加經(jīng)濟(jì)，而且外形(physically )更高效。
“為了優(yōu)化成本，我們拿掉了標(biāo)準(zhǔn)服務(wù)器中很多組件，”Michael說，“這使得它更容易維修。由于少了很多阻擋物，散熱變得更加高效。并且輕了10磅：這讓我們少購買了10磅，任何時候把它放入或從機(jī)架上卸下變的更輕松，***到報廢的那一天，也少回收了10磅。”
Facebook并不是獨(dú)自設(shè)計自己的服務(wù)器。Google參與幾年了。不同的是，F(xiàn)acebook會邀請你進(jìn)入臨時的實驗室，參觀他們是怎么做的，還會把Michael設(shè)計的服務(wù)器提供給你，甚至包括Prineville數(shù)據(jù)中心的設(shè)計藍(lán)圖，有了它你就可以用把這些服務(wù)器串聯(lián)起來工作了。
互聯(lián)網(wǎng)巨頭需要高效的硬件處理各種大量的業(yè)務(wù)。無論是金融機(jī)構(gòu)、生物醫(yī)藥還是其它的商業(yè)機(jī)構(gòu)，都遇到了同樣的問題。Facebook希望幫助自己，也幫助他們。通過Michael以及其他Facebook的硬件智能團(tuán)，可以將雙方緊密攜手。
▲在曾經(jīng)的收發(fā)室內(nèi)，Michael把服務(wù)器從機(jī)架上卸下。#p#
***的經(jīng)驗就是沒有經(jīng)驗
在加入Facebook前，Michael在Google做了5年半多的硬件工程師。他調(diào)試過各種主板和電源，但從未設(shè)計過自己的服務(wù)器。這就是為什么他適合為Facebook制造一臺服務(wù)器的原因。“我的愿景并不是混亂的，”他說。“我研究了很多獨(dú)立的部件，但我從未涉及整個系統(tǒng)。”
他開始擺弄Facebook數(shù)據(jù)中心中的各種服務(wù)器和設(shè)備，F(xiàn)acebook僅僅租賃空間和基礎(chǔ)設(shè)施。他和其他工程師做了一些改進(jìn)，但他們很快意識到他們不能改變多少，除非從頭設(shè)計數(shù)據(jù)中心和服務(wù)器。“我們不能改變一點(diǎn)數(shù)據(jù)中心，再改變一點(diǎn)服務(wù)器，”Michael說。“我們的確改進(jìn)一些，但我們想走的更長遠(yuǎn)。”
于是一名叫Jay Park的工程師發(fā)力研究數(shù)據(jù)中心，Michael專注服務(wù)器。但他們還在一起工作。設(shè)計的想法由兩個人密切合作完成。
一般而言，數(shù)據(jù)中心在交流、直流電轉(zhuǎn)換以及不同電壓間轉(zhuǎn)換會浪費(fèi)很多電能。但一天晚上，Jay Park說，他夢見了一個新的數(shù)據(jù)中心不存在這些浪費(fèi)。當(dāng)他醒過來，手邊并沒有紙，就隨手在餐巾紙上畫出了他的構(gòu)想圖。
我們沒有采用大量的分散的裝置將電壓降到208伏，而是直接將277伏電流供給服務(wù)器機(jī)房。“我們這么做的原因和供電公司在傳輸網(wǎng)絡(luò)上采用高電壓的原因是一樣的。”Michael說。“更高的電壓，意味著更少的浪費(fèi)，更高的效率。”而且，省去了那些龐大的不間斷電源(UPS)，從而減少了損耗。取而代之的是，Park和其他工程師將直流電池放進(jìn)旁邊的機(jī)架上，并將其裝進(jìn)服務(wù)器。這意味著，后備電源的供電距離較短，而且不需要從直流電轉(zhuǎn)換到交流電，再從直流電轉(zhuǎn)換到交流的長途跋涉。
但Park夢想中的數(shù)據(jù)中心還不能工作，除非你有能夠適應(yīng)這些變化的服務(wù)器。Michael對數(shù)據(jù)中心生態(tài)系統(tǒng)的貢獻(xiàn)是將提供了兩個而不是一個電源接口。其中包含一個277伏特交流電源，和一個在旁邊機(jī)架上的48伏特的直流電池。“電源裝置十分智能，當(dāng)交流供電失效時，將自動切換到電池供電，”Michael說。“服務(wù)器甚至不知道電源供電消失了。”
但他并沒有停下腳步。他設(shè)計了從服務(wù)器底架、風(fēng)扇、主板等一切東西。Michael和他的團(tuán)隊并不是在現(xiàn)有的基礎(chǔ)上修修補(bǔ)補(bǔ)，而且完全設(shè)計了一個新的機(jī)器。
▲一個Facebook的服務(wù)器部門的工作臺。有時候會增加一倍大小。#p#
哪里的世界是Amir Michael的?
以前從來沒有做過一臺服務(wù)器，你該怎么做呢?你閱讀了大量描述供電裝置的技術(shù)手冊。于是，你找到了一個能真正制造電源的家伙。
當(dāng)他開始設(shè)計服務(wù)器，他想到了Synnex，一家全能公司，在過去30年，深耕于全球的電腦硬件的購買和銷售業(yè)務(wù)。Synnex總部位于美國加利福尼亞州的佛瑞蒙，他與臺灣、中國大陸以及其它地區(qū)的原始設(shè)備制造商(ODM)關(guān)系緊密。Michael要求公司指派他與各種各樣的電源制造商、主板制造商聯(lián)系。
“我們也很愉快，”Synnex高級副總裁、總經(jīng)理Steve Ichinaga表示。Steve Ichinaga與Michael緊密合作。畢竟這是在Facebook。最終，F(xiàn)acebook成為了Synnex的客戶。在服務(wù)器運(yùn)往Prineville的數(shù)據(jù)中心前，Synnex負(fù)責(zé)對其進(jìn)行測試。
通過Synnex和其它渠道，Michael與許多設(shè)備制造商取得聯(lián)系，至少3家同意幫助制造服務(wù)器：廣達(dá)，一位于臺灣的主板和電腦制造商;臺達(dá)，另一家臺灣制造商，專攻電源裝置;寶威，另一家總部在美國的電源制造商。寶威拒絕接收采訪，臺達(dá)和廣達(dá)沒有對采訪要求做出回應(yīng)。但據(jù)Michael透露，三家公司不僅為Facebook服務(wù)，而且他們之間彼此還有合作。
“我們選擇的伙伴非常開放，溝通很順利，并給我們分享了很多經(jīng)驗，幫助我們更好的優(yōu)化，”Michael說。“我們與主板供應(yīng)商分享了我們的供電設(shè)計，并邀請他們一起工作。因此，我們緊密的合作。每個人都能看到全局，這讓所有的工程師更有效率。讓我們有同樣的思考方向。”
別的服務(wù)器設(shè)計師并不這樣工作，他補(bǔ)充道，顯然在暗指Google。“其它公司將這些事情分離開來，要花很多精力來進(jìn)行溝通和理解。工程師不可能集中精力設(shè)計好的服務(wù)器。許多很小的細(xì)節(jié)，人們也不得不親自描述。”
Facebook也與Intel和AMD合作，他們的CPU用于制造服務(wù)器。Intel數(shù)據(jù)中心群組高密度計算業(yè)務(wù)總經(jīng)理 Jason Waxman拒絕透露合作的細(xì)節(jié)，但他表示Intel與Facebook在設(shè)計服務(wù)器項目上工作“非常和諧”。
通過與這些伙伴合作，Michael的目標(biāo)是制造一個“無浪費(fèi)”(vanity-free)的服務(wù)器，不含有任何一個Facebook不需要的組件。“我們不需要花精力去照看服務(wù)器，”他說。“沒有噴漆，前面板上沒有按鍵，沒有l(wèi)ogo或徽章。”但是，這樸實的設(shè)計只是我們努力的一部分，這幫助我們減少制冷的成本。
最終，他們被固定在底架上，由于比一般的服務(wù)器高，所以可以容納更大的風(fēng)扇和散熱器。大風(fēng)扇提供更高效的氣流。由于采用更大的散熱器，不需要那么多流動的空氣。散熱器有更大的表面積，幫助CPU散熱的效率更高。
同時，Michael的團(tuán)隊從新設(shè)計了主板上的芯片位置來增大氣流。“這個主意產(chǎn)生了一些列連鎖反應(yīng)，”冷空氣吹向發(fā)熱的設(shè)備。設(shè)備彼此間不會“遮擋”。更多的冷空氣直接吹向需要冷卻的設(shè)備。通過調(diào)整電路設(shè)計，我們提升了散熱設(shè)計。”
Michael從2010年1月開始設(shè)計，***臺原型機(jī)在夏天到達(dá)他的臨時實驗室。
▲Facebook風(fēng)洞，測試服務(wù)器散熱。#p#
批薩、啤酒、薯片和主板
批薩和啤酒運(yùn)到這里已經(jīng)幾周了。在Santa Clara的數(shù)據(jù)中心，Michael組建了“build聚會。”批薩和啤酒用來招待來自Facebook和其它地方的服務(wù)器技術(shù)員，技術(shù)員被分好區(qū)，并在Michael的原型機(jī)上工作，他的團(tuán)隊在一邊觀看。技術(shù)員會把他們放在一起，然后再分開。“這很有趣，令人興奮，并從中學(xué)到很多經(jīng)驗，”Steve Ichinaga說，“這是個好辦法，讓所有的人都知道每件東西是怎么工作的。”
包括Amir Michael和他的工程師在內(nèi)，工程師們通過眾所周知的方法來測試原型機(jī)的極端狀態(tài)。他們安裝了熱量測試間，并對服務(wù)器極端加熱和冷卻。有時，他們會讓服務(wù)器迅速加熱或冷卻，會產(chǎn)生嚴(yán)重的凝結(jié)，生成一大塊冰。在第三個房間，他們建立的風(fēng)道，用來測試服務(wù)器散熱。在風(fēng)道邊旁，一臺示波器用于追蹤通過主板的信號。
▲Facebook的熱量測試間，也稱服務(wù)器烤箱。
經(jīng)過3輪原型機(jī)、5個月反復(fù)測試，他們確定了最終設(shè)計方案。12月，整整7個機(jī)架的服務(wù)器運(yùn)送到Oregon Prineville的數(shù)據(jù)中心，Michael和幾個工程師也來到這里，不過他們并沒有做什么。“我們啟動了機(jī)架上的服務(wù)器，一切都開始工作。沒有bug。嬰兒的死亡率——服務(wù)器在運(yùn)輸過程中的損壞率非常低，比我們用過的那些服務(wù)器要低。”他說。“事實上，那是非常無聊的一天。服務(wù)器運(yùn)來。我們調(diào)試。然后我們鼓掌。我們沒有其它事可做。”對于過去的5個月測試，這是一份遺書，他說。
他在那里多待了一天防止出任何差錯。但什么都沒發(fā)生。于是他就回家了。
▲生命的2.0#p#
請拿走我的服務(wù)器
Michael說，一個工程師喜歡在Facebook工作的原因就是，我們經(jīng)常討論誰不愿意在Facebook工作。與數(shù)據(jù)中心和服務(wù)器一起工作，公司給予了極端的企業(yè)文化。 去年四月，在Michael啟動那些服務(wù)器后3個月后，公司發(fā)布了他的設(shè)計方案，這成為 了Open Compute Project的一部分。任何人都可以獲得它。
任何人都能對其更新。Open Compute Project 1.0發(fā)布一年后，Michael和他的團(tuán)隊將要發(fā)布2.0版。Synnex建立了新的組織——Hyve，提供開放服務(wù)器和其它定制機(jī)，一些設(shè)備已經(jīng)在訂單系統(tǒng)中，其中包括1、2個互聯(lián)網(wǎng)大佬級企業(yè)的名字。
為了分享設(shè)計，F(xiàn)acebook希望降低設(shè)備的價格，也鼓勵其它組織幫助提高設(shè)計。公司清楚這些對大家協(xié)作制造服務(wù)器有所幫助。
為了制造Facebook的服務(wù)器，Michael同寶威的工程師奮斗在意大利，與臺達(dá)的工程師在德國工作，其它工程師則前往臺灣。為了2.0版，他聯(lián)合了第二家臺灣主板制造商緯創(chuàng)。在圣誕假期到來前，我們站在他的服務(wù)器實驗室中談?wù)摚幻蠵eter Ha的Facebook工程師，以及兩名來自其它公司叫不上名字的朋友，一起仔細(xì)檢查新設(shè)計的細(xì)節(jié)。盡管Michael正走向Facebook的新總部的實驗室，這里曾是Sun Microsystems在California Menlo Park的老校區(qū)。
他們并不常說英語。碰巧的是，在與Michael結(jié)束談話前我問道，你和你的團(tuán)隊如何應(yīng)對語言障礙。“我們工程師中的許多人都熟練的說普通話(Mandarin。Facebook中有許多華人工程師?)，”他說。“如果溝通中出現(xiàn)困難，談話語言會變成普通話。”
和其他自稱Facebook黑客的同事一樣， Amir Michael和他的團(tuán)隊知道如何解決手頭的問題，并且與來自世界各地的伙伴良好合作。
【編輯推薦】
