在過去六個月當(dāng)中，AWS方面已經(jīng)兩次針對Xen安全漏洞對其云服務(wù)器進行了重啟。

根據(jù)Gartner公司去年作出的估算，Amazon Web Services的總體規(guī)模已經(jīng)達到其后十四家競爭對手基礎(chǔ)設(shè)施規(guī)模總和的五倍。順帶一提，這些設(shè)備全部運行有開源Xen虛擬機管理程序的一套定制化版本，這意味著一旦這部分Xen代碼存在安全漏洞，AWS將因此受到巨大影響。

在過去六個月當(dāng)中，AWS方面已經(jīng)兩次針對Xen安全漏洞對其Elastic Compute Cloud(簡稱EC2)服務(wù)器進行了重啟。2014年9月，約有10% EC2實例經(jīng)歷了重啟，而就在本周AWS再次宣布其總體實例當(dāng)中約有0.1%需要安裝安全補丁并進行重啟。雖然這一比例聽起來并不算高，但從AWS的運營規(guī)模角度看，其涉及的實際設(shè)備數(shù)字仍然相當(dāng)龐大。

在發(fā)現(xiàn)Xen代碼存在安全漏洞后，AWS內(nèi)部受到了怎樣的影響?

[[129310]]

Steve Schmidt

答案是Steve Schmidt同志要忙上一陣子了(這并不是說他尚未對此類情況做好準(zhǔn)備)。Schmidt是AWS安全工程技術(shù)副總裁兼***信息安全官(簡稱CISO)——他還擁有效力于FBI擔(dān)任部門主管的經(jīng)歷。目前他主要負責(zé)AWS的云安全工作。去年11月，我們曾經(jīng)在AWS re: Invent大會上與Schmidt進行了一次面對面交流，并請他談?wù)勗谌ツ?月那場史無前例的大重啟事件中、AWS內(nèi)部的云運營工作經(jīng)歷了哪些變動。

漏洞驗證

AWS可謂Xen代碼的使用大戶，因此該公司各位高層也是開源社區(qū)當(dāng)中***了解到Xen存在安全漏洞問題的群體。狀況出現(xiàn)后，Schmidt及其團隊的***項任務(wù)就是檢查該問題是否會對AWS造成影響。該公司已經(jīng)搶在正式公開之前，就通過其定期檢查發(fā)現(xiàn)了存在于Xen當(dāng)中的各項安全漏洞。這樣一來，他們就能夠提前驗證相關(guān)漏洞是否會影響到AWS并據(jù)此作出補丁開發(fā)與安裝決策。

“Xen是個規(guī)模龐大的軟件包，其中有很多部分與AWS的實際運行完全無關(guān)，”Schmidt指出。

事實上大部分Xen安全漏洞并不會對AWS造成影響，這是因為該公司已經(jīng)開發(fā)出了自己的一套Xen定制化版本。AWS方面從中移除了全部不必要的Xen功能，這一方面是為了保證定制化開源代碼能夠在該公司的獨特用例當(dāng)中發(fā)揮***性能表現(xiàn)，同時也是為了盡可能降低其存在安全漏洞的可能性。

不過AWS還作出了另一項決策：不單單使用一種Xen版本，而是引入多套版本方案。

“我們刻意在不同服務(wù)之間構(gòu)建起差異化的基礎(chǔ)設(shè)施方案，”他指出。“我們當(dāng)然不希望一切都保持一致，因為如果某個問題會對設(shè)施造成影響，那么單一版本機制意味著其將影響到一切。”AWS在多種不同服務(wù)及地區(qū)之間采用不同的定制化Xen版本，而且每套版本所使用的都并非普通開源代碼。

內(nèi)部攻堅

如果AWS云受到了影響，那么該公司則選擇出去出擊、實施技術(shù)攻堅。

“我們構(gòu)建了一套測試場景，以確定我們能否觸發(fā)該安全漏洞，”Schmidt表示。在此之后，他們還開展了廣泛的測試工作，旨在了解是否已經(jīng)有惡意人士利用該漏洞侵襲AWS。

與此同時，另一個安全技術(shù)團隊則已經(jīng)完成了補丁的構(gòu)建工作并在AWS所運行的多種Xen版本之上進行測試，希望借此滿足其對安全性及性能水平的需要。

有時候安裝補丁要求硬件設(shè)備進行重新啟動，正如過去半年中曾兩次出現(xiàn)的情況一樣。而且與普通PC機類似，某些更新及補丁在安裝后需要重啟、有一些則不需要。AWS所采用的大多數(shù)補丁都不需要重啟; AWS已經(jīng)對其系統(tǒng)進行了結(jié)構(gòu)調(diào)整，旨在盡可能降低由補丁安裝帶來的服務(wù)重啟次數(shù)。

“我們投入了大量精力以盡可能避免重啟，”Schmidt指出。如果Schmidt和他的團隊發(fā)現(xiàn)無需重啟進行安裝“在技術(shù)上不可行”，那么該公司就會在實施重啟之前向客戶發(fā)出通知。

可怕的重啟流程

“其實思路本身非常簡單，”Schmidt在談到去年9月的大規(guī)模重啟時表示。“我們找不到一種能夠無需重啟而又實現(xiàn)服務(wù)補丁安裝的方式，因此我們選擇進行重啟。”

這種情況下的復(fù)雜之處在于，AWS方面必須如實通知客戶其部分EC2實例需要進行重啟，但他們卻又無法坦率地公布理由。AWS絕不能以公開方式宣揚安全漏洞的存在，并將其告知自家或者其他Xen用戶。

不過客戶應(yīng)當(dāng)在此時段內(nèi)隨時做好迎接重啟的準(zhǔn)備，此外用戶們還需要采用一系列措施以確保自有系統(tǒng)不會受到重啟或者虛擬機故障的影響。方案之一在于將其系統(tǒng)設(shè)計為無狀態(tài)方案，這樣一旦出現(xiàn)重啟或者虛擬機故障，那么應(yīng)用程序會以非破壞性的故障轉(zhuǎn)移方式運行在其它正常虛擬機環(huán)境之下。

去年9月，我們曾經(jīng)就此采訪過一系列AWS用戶，他們大多表示此次重啟并未引必嚴重問題。針對云環(huán)境開發(fā)的應(yīng)用程序往往自帶故障彈性能力，不過傳統(tǒng)應(yīng)用程序的遷移過程卻有可能帶來更多麻煩。

Schmidt指出，AWS一直在努力改進其服務(wù)效果：無論是在技術(shù)方面還是在避免虛擬機重啟方面。此外，該公司也希望能讓客戶及時獲取到相關(guān)消息。相關(guān)努力包括贊助學(xué)術(shù)研究以及如何利用研究成果幫助Xen服務(wù)器在無需重啟的前提下完成熱修復(fù)。

原文標(biāo)題：What happens inside Amazon when there’s a Xen vulnerability