虛擬化與高性能計(jì)算是天然的矛盾?
這是一個(gè)非常有趣的現(xiàn)象--新技術(shù)在誕生之初，往往會(huì)被人們視作包治百病的良藥。這似乎正應(yīng)驗(yàn)了那句老話："錘子在手，看什么都是釘子"。從某些方面看，我認(rèn)為虛擬化技術(shù)已經(jīng)成了一把錘子，人們正四處為其尋找釘子（或看上去像釘子的東西）。最近便有很多人認(rèn)為，高性能計(jì)算（HPCC）或許是虛擬化錘子的又一顆釘子。
我本人對(duì)虛擬化技術(shù)并無(wú)批駁之意，因?yàn)樗_實(shí)為專注企業(yè)級(jí)運(yùn)算的數(shù)據(jù)中心節(jié)約了大量成本，從這個(gè)角度看，它完全稱得上是一項(xiàng)革命性新技術(shù)。
虛擬化技術(shù)之所以能在企業(yè)中發(fā)揮如此大的作用，原因之一在于目前企業(yè)對(duì)硬件的利用率不高（多數(shù)不超過(guò)50%）。而在高性能計(jì)算領(lǐng)域，硬件利用率往往會(huì)超過(guò)90%。
有趣的是，在高性能計(jì)算中，即使硬件利用率突破了90%，也經(jīng)常會(huì)發(fā)生大量任務(wù)列隊(duì)等待合適資源的情況，計(jì)算需求仍然居高不下。資源管理器一般會(huì)以合理的方式安排工作，以便最充分地利用硬件資源，但某些情況下，可能沒(méi)有足夠的空閑資源來(lái)執(zhí)行任務(wù)，這時(shí)管理器會(huì)一直保留該項(xiàng)任務(wù)，直到獲得執(zhí)行這項(xiàng)任務(wù)的必要資源。最終，硬件利用率似乎無(wú)法達(dá)到100%（如90%左右），而實(shí)際計(jì)算需求卻遠(yuǎn)遠(yuǎn)高于100%。
因此，在高性能計(jì)算中利用虛擬化技術(shù)來(lái)整合未被充分利用的資源，進(jìn)而提高計(jì)算效率的想法并不可行。一個(gè)簡(jiǎn)單的事實(shí)是，幾乎所有高性能計(jì)算系統(tǒng)都要處在全負(fù)荷或已被過(guò)量預(yù)訂的狀態(tài)（如果您見(jiàn)過(guò)未被充分利用的高性能計(jì)算系統(tǒng)，請(qǐng)一定和我聯(lián)系，我認(rèn)識(shí)一大批渴望計(jì)算縮短周期的人J），但這并不意味著虛擬化技術(shù)在高性能計(jì)算領(lǐng)域就毫無(wú)用處。
虛擬化技術(shù)在高性能計(jì)算領(lǐng)域的潛在應(yīng)用
我認(rèn)為，虛擬化技術(shù)具備改善高性能計(jì)算的潛力，這集中體現(xiàn)在以下三個(gè)方面：
首先，我們可以利用計(jì)算節(jié)點(diǎn)上的虛擬化硬件執(zhí)行用戶選定的分配任務(wù)。聽上去似乎有些不可思議，但實(shí)際上，一個(gè)典型的集群中往往存在一組幾乎完全相同的計(jì)算節(jié)點(diǎn)。也就是說(shuō)，它們?cè)谌魏畏矫娑疾淮嬖诓顒e（包括硬件和軟件環(huán)境）。不過(guò)有些時(shí)候，您運(yùn)行的應(yīng)用可能是針對(duì)特定操作系統(tǒng)或內(nèi)核，或是存在某種軟件依賴關(guān)系，計(jì)算節(jié)點(diǎn)上的資源無(wú)法滿足其需求。這時(shí)您會(huì)怎么做？
此時(shí)，人們往往會(huì)為此類應(yīng)用創(chuàng)建單獨(dú)的集群，以滿足其特定的軟件需求。不過(guò)這樣做要付出相當(dāng)高的代價(jià)。如果某家企業(yè)共部署了6項(xiàng)軟件需求各不相同的應(yīng)用，那么他們是不是就得構(gòu)建六個(gè)不同的集群？有沒(méi)有其它更好的辦法呢？
虛擬化技術(shù)對(duì)此的解決之道是利用虛擬機(jī)（VM）來(lái)運(yùn)行相應(yīng)軟件。在此情景中，那些節(jié)點(diǎn)會(huì)在計(jì)算節(jié)點(diǎn)上運(yùn)行主機(jī)操作系統(tǒng)（相當(dāng)于在計(jì)算節(jié)點(diǎn)上運(yùn)行管理程序）。當(dāng)用戶向資源管理器提交任務(wù)時(shí)，可以自行指定希望在任務(wù)中使用的操作系統(tǒng)或內(nèi)核等組件。在任務(wù)執(zhí)行過(guò)程中，資源管理器會(huì)通知計(jì)算節(jié)點(diǎn)運(yùn)行所需的軟件，并將相應(yīng)軟件安裝在虛擬機(jī)（VM）內(nèi)。接下來(lái)，任務(wù)會(huì)在虛擬機(jī)上運(yùn)行，處理完畢后，虛擬機(jī)被關(guān)閉，節(jié)點(diǎn)繼續(xù)執(zhí)行下一任務(wù)。如果這個(gè)設(shè)想得以實(shí)現(xiàn)，您就能在單個(gè)節(jié)點(diǎn)上混合運(yùn)行Linux和Windows應(yīng)用，或是將其用于需要特定操作系統(tǒng)（不在集群內(nèi)）的其它應(yīng)用。但世界上沒(méi)有免費(fèi)的午餐，這種美好的設(shè)想也不例外。
問(wèn)題的關(guān)鍵是那些在虛擬機(jī)內(nèi)運(yùn)行、且需要訪問(wèn)IO和網(wǎng)絡(luò)等硬件的應(yīng)用。我們不妨假設(shè)一下，這些高性能計(jì)算應(yīng)用很可能并行并在多個(gè)節(jié)點(diǎn)間運(yùn)行（很可能使用MPI）。如果這些在虛擬機(jī)中運(yùn)行的應(yīng)用需要通過(guò)訪問(wèn)高速網(wǎng)卡來(lái)發(fā)送消息，就必須首先向主機(jī)操作系統(tǒng)發(fā)出請(qǐng)求，然后由其代表虛擬機(jī)與網(wǎng)卡進(jìn)行通信。這種以主機(jī)操作系統(tǒng)為中介的通信方式不僅會(huì)降低系統(tǒng)性能，還會(huì)極大地增加通信延遲。訪問(wèn)節(jié)點(diǎn)內(nèi)硬盤時(shí)也會(huì)遇到這種情況。據(jù)我所知，因使用高速網(wǎng)卡造成的性能損失應(yīng)該在50%左右（即，在虛擬機(jī)中運(yùn)行使用高速網(wǎng)卡的代碼時(shí)會(huì)出現(xiàn)50%的性能損失）。最近情況有所改善，下降幅度已降至30%。同時(shí)，很多公司表示，他們可以通過(guò)驅(qū)動(dòng)程序來(lái)支持虛擬機(jī)直接訪問(wèn)硬件。但截至目前，我還沒(méi)有看到此類驅(qū)動(dòng)程序的任何性能指標(biāo)評(píng)測(cè)（早在兩年前就有一家公司宣稱擁有了原生的性能驅(qū)動(dòng)程序，但時(shí)至今日都沒(méi)有發(fā)布過(guò)任何性能指標(biāo)評(píng)測(cè)）。因此，虛擬機(jī)訪問(wèn)硬件方面的困難確實(shí)限制了這種設(shè)想的實(shí)現(xiàn)。
另一個(gè)有望改善高性能計(jì)算的虛擬化技術(shù)設(shè)想是，將某個(gè)節(jié)點(diǎn)中運(yùn)行的進(jìn)程"移動(dòng)"到其它節(jié)點(diǎn)。在VMWare領(lǐng)域，這個(gè)設(shè)想需要靠Vmotion（在Xen和其它虛擬化工具中采用其它名稱）來(lái)實(shí)現(xiàn)。具體而言，就是將虛擬機(jī)從一組物理硬件移動(dòng)至其它硬件環(huán)境，同時(shí)保持虛擬機(jī)的正常運(yùn)行。很多人表示，如果發(fā)現(xiàn)任務(wù)中的某個(gè)節(jié)點(diǎn)即將出現(xiàn)故障，他們就愿意采用這種辦法。但實(shí)際上，我們似乎并不能輕易地在即將出現(xiàn)故障的節(jié)點(diǎn)上找到某項(xiàng)任務(wù)，并在該節(jié)點(diǎn)真正出現(xiàn)故障前將這些任務(wù)移走。但移動(dòng)虛擬機(jī)的想法或許能在維護(hù)方面發(fā)揮一定作用。也就是安排一些專門用于維護(hù)的節(jié)點(diǎn)，然后在維護(hù)窗口打開時(shí)將虛擬機(jī)移動(dòng)至這些節(jié)點(diǎn)執(zhí)行維護(hù)任務(wù)。不過(guò)總的來(lái)說(shuō)，在運(yùn)行高性能計(jì)算任務(wù)時(shí)移動(dòng)虛擬機(jī)的做法還是存在一些問(wèn)題。
我們?cè)偌僭O(shè)，即高性能計(jì)算的處理對(duì)象多為基于MPI的代碼。其中一個(gè)問(wèn)題是，MPI代碼應(yīng)當(dāng)與內(nèi)核"捆綁"，以期實(shí)現(xiàn)最佳性能（人們總是希望得到更高的性能）。但在VMWare環(huán)境下，最好不要將進(jìn)程捆綁到特定內(nèi)核，因?yàn)槟繕?biāo)節(jié)點(diǎn)與源節(jié)點(diǎn)之間可能并不匹配，這會(huì)導(dǎo)致進(jìn)程無(wú)法移動(dòng)。另外還有人指出，固定進(jìn)程會(huì)限制虛擬機(jī)的移動(dòng)。
也許更重要的是，當(dāng)人們移動(dòng)虛擬機(jī)時(shí)，必須中止網(wǎng)絡(luò)中所有的消息傳送（收發(fā)），并且同時(shí)中斷該虛擬機(jī)在移動(dòng)過(guò)程中的一切IO流量。只有這樣才能移動(dòng)虛擬機(jī)。此外，人們還必須將來(lái)自源節(jié)點(diǎn)的消息和IO流量移動(dòng)到目標(biāo)節(jié)點(diǎn)。這對(duì)虛擬機(jī)來(lái)講的確是個(gè)難題。最近的一次測(cè)試已成功地將某個(gè)執(zhí)行本地IO操作的單個(gè)節(jié)點(diǎn)移動(dòng)至其它節(jié)點(diǎn)。整個(gè)虛擬機(jī)移動(dòng)過(guò)程共耗費(fèi)了20多分鐘。但假設(shè)測(cè)試的任務(wù)須在多個(gè)節(jié)點(diǎn)間運(yùn)行，同時(shí)還必須完成消息傳送，另外可能還得進(jìn)行一些IO操作，在此情況下，移動(dòng)虛擬機(jī)的復(fù)雜性可能遠(yuǎn)遠(yuǎn)超出想象。由此看來(lái)，移動(dòng)虛擬機(jī)并非是高性能計(jì)算的首選。
最后一個(gè)設(shè)想是利用虛擬機(jī)來(lái)充當(dāng)檢查點(diǎn)或重新啟動(dòng)應(yīng)用。長(zhǎng)期以來(lái)，人們就一直設(shè)想在高性能計(jì)算中實(shí)現(xiàn)獨(dú)立于應(yīng)用本身的檢查點(diǎn)/重新啟動(dòng)功能。檢查點(diǎn)主要是指代碼進(jìn)程的快照，用于捕獲節(jié)點(diǎn)的計(jì)算狀態(tài)。人們使用檢查點(diǎn)，是希望在節(jié)點(diǎn)出現(xiàn)故障以及應(yīng)用無(wú)法工作時(shí)，從最近一個(gè)檢查點(diǎn)重新啟動(dòng)應(yīng)用。如果沒(méi)有檢查點(diǎn)，應(yīng)用就只能從初始狀態(tài)重新啟動(dòng)。
當(dāng)應(yīng)用在虛擬機(jī)（虛擬機(jī)只是一種軟件）上運(yùn)行時(shí)，您就可以利用虛擬化技術(shù)輕松地創(chuàng)建檢查點(diǎn)。您只需少量的準(zhǔn)備工作，就能創(chuàng)建出虛擬機(jī)狀態(tài)檢查點(diǎn)，并將其寫入存儲(chǔ)設(shè)備。不然您還是要面對(duì)同樣的問(wèn)題，即在創(chuàng)建檢查點(diǎn)之前使虛擬機(jī)保持"安靜"。
最基本的問(wèn)題是，如何在創(chuàng)建檢查點(diǎn)之前使系統(tǒng)處于"安靜"模式。這要求事先進(jìn)行很多準(zhǔn)備工作，包括停止處理器及其當(dāng)前任務(wù)、終止所有的消息傳送和IO操作、清空所有緩沖區(qū)等等，然后將虛擬機(jī)狀態(tài)以文件形式轉(zhuǎn)儲(chǔ)至存儲(chǔ)設(shè)備。曾有幾家公司嘗試在集群中實(shí)施這一設(shè)想，但都以失敗告終。目前，又有一家公司開始進(jìn)行這類嘗試。不過(guò)從根本上看，這是一個(gè)相當(dāng)難解決的問(wèn)題。
總結(jié)
從某種程度上講，虛擬化技術(shù)能夠有效減少服務(wù)器數(shù)量并提高剩余服務(wù)器的利用率，的確為企業(yè)的IT實(shí)施帶來(lái)了一場(chǎng)革命。 然而，人們錯(cuò)誤地把它當(dāng)成了萬(wàn)靈丹，希望它可以應(yīng)用于一切可能的IT領(lǐng)域（包括高性能計(jì)算在內(nèi)）。在我看來(lái)，虛擬化技術(shù)或許可以通過(guò)以下三種途徑來(lái)影響高性能計(jì)算：
利用虛擬化技術(shù)選擇操作系統(tǒng)分配和/或其它軟件需求，并指定合適的計(jì)算節(jié)點(diǎn)來(lái)運(yùn)行相應(yīng)軟件。
利用虛擬化技術(shù)將進(jìn)程從某個(gè)節(jié)點(diǎn)（源節(jié)點(diǎn)）移動(dòng)至其它節(jié)點(diǎn)（目標(biāo)節(jié)點(diǎn)）。
利用虛擬化技術(shù)輕松創(chuàng)建檢查點(diǎn)。
以上三種設(shè)想看似簡(jiǎn)單，實(shí)際上卻很難在高性能計(jì)算中實(shí)現(xiàn)。第一種設(shè)想能夠提供任務(wù)所需的操作系統(tǒng)或分配資源，引起了很多人的興趣，但目前這樣做會(huì)造成性能損失；第二種設(shè)想是在節(jié)點(diǎn)間移動(dòng)虛擬機(jī)，這在高性能計(jì)算中很難實(shí)現(xiàn)，因?yàn)樵S多應(yīng)用都要大量用到網(wǎng)絡(luò)和/或存儲(chǔ)（IO）；而第三種設(shè)想，即利用虛擬機(jī)快速創(chuàng)建檢查點(diǎn)也存在相同的網(wǎng)絡(luò)和/或存儲(chǔ)依賴問(wèn)題，因此很難應(yīng)用于高性能計(jì)算中。
因此，從目前的情況來(lái)看，虛擬化技術(shù)尚無(wú)法在高性能計(jì)算領(lǐng)域占據(jù)一席之地。盡管我們并不能由此斷定未來(lái)情況不會(huì)發(fā)生變化，但目前虛擬化技術(shù)要進(jìn)入高性能計(jì)算領(lǐng)域尚需時(shí)日。我很遺憾地說(shuō)，高性能計(jì)算并不是虛擬化大錘所尋找的那顆釘子。
【編輯推薦】
