這幾天國內(nèi) IT 業(yè)界最熱門的新聞不外乎是中國臺灣省臺北桃園機(jī)場境管系統(tǒng)當(dāng)機(jī) 36 小時(shí)了；事情一發(fā)生，各種專業(yè)的，非專業(yè)的猜測，流言，內(nèi)線消息不斷，熱鬧極了。

有人從政治的角度解讀(這好像是這幾年國內(nèi)各種事件必然要有的一個(gè)面相)，說是為了掩護(hù)某些人士的出境；而筆者看到網(wǎng)絡(luò)上最扯的說法是被“某國”給黑了，放毒了，對于這些，筆者 只能用一句電視上的廣告臺詞“不要再相信那些沒有根據(jù)的傳言了”來響應(yīng)。

沒有任何一位 IT 人員(尤其是 IT 工程師)愿意看到系統(tǒng)在自己的手上“無法上線”36 個(gè)小時(shí)，筆者 在這里使用“無法上線”而不使用“宕機(jī)”，是因?yàn)椋虸T工程的角度來說，“宕機(jī)”指的是一部機(jī)器 (不論是主機(jī)或存儲系統(tǒng)) 因?yàn)槟承┰蚨鵁o法開機(jī)成功回復(fù)運(yùn)作；這次境管系統(tǒng)的事件，從現(xiàn)有枱面上的消息來說，并不是機(jī)器無法運(yùn)作，而是境管查驗(yàn)系統(tǒng)無法上線作業(yè)。

至于被黑或是中毒的說法，更是一般使用者的猜測；現(xiàn)有的境管系統(tǒng)使用的是 UNIX 操作系統(tǒng)，到目前為止，業(yè)界還沒有發(fā)生過 UNIX 作業(yè)平臺的中毒事件；而且境管系統(tǒng)是一套封閉的系統(tǒng)，即使有辦法可以黑入移民署或是桃園機(jī)場的網(wǎng)站，也不可能連上境管系統(tǒng)，因?yàn)榫彻芟到y(tǒng)根本沒有對外部的網(wǎng)絡(luò)聯(lián)機(jī)！

至于系統(tǒng)的備份或是數(shù)據(jù)備份的問題，“在最短時(shí)間內(nèi)恢復(fù)聯(lián)機(jī)操作”本來就是境管系統(tǒng)架構(gòu)當(dāng)初設(shè)計(jì)的目的之一，就 筆者 的了解，桃園機(jī)場的境管主機(jī)是雙機(jī)備份作業(yè)的架構(gòu)，也就是只要有一部主機(jī)可以運(yùn)作，就可以維持在線的作業(yè)；數(shù)據(jù)備份，也肯定是有的；至于為什么這些設(shè)計(jì)沒有在需要的時(shí)候發(fā)揮它應(yīng)有的功能，這是移民署必須要給的答案，筆者 不愿多做猜測。

回歸 IT 專業(yè)，這次故障，至少到目前為止，系統(tǒng)維護(hù)廠商枱面上給的解釋是某供應(yīng)商的存儲系統(tǒng)中有三塊磁盤及一片機(jī)板故障，而在硬件修復(fù)后，必須要等待數(shù)據(jù)由第二套系統(tǒng)回復(fù)，所以需要這么久的時(shí)間，我們就從這個(gè)故障原因談起；機(jī)板故障的問題我們不討論，因?yàn)闄C(jī)板存粹就是一個(gè)硬件組件，換新的就好了。

再來就是磁盤啰！企業(yè)級的存儲系統(tǒng)是不可能出現(xiàn)某幾塊磁盤故障而導(dǎo)致無法開機(jī)的。那有沒有可能導(dǎo)致數(shù)據(jù)損毀？當(dāng)然可能！

存儲系統(tǒng)最重要的數(shù)據(jù)其實(shí)并不是用戶的數(shù)據(jù)，而是一個(gè)我們稱之為“元數(shù)據(jù)”(metadata) 的數(shù)據(jù)，metadata 簡單來說就是存儲系統(tǒng)的組態(tài)文件，所有磁盤驅(qū)動器如何劃分，哪些磁盤驅(qū)動器組成一個(gè) RAID 群組，每一個(gè)數(shù)據(jù)卷 (volume) 的大小等等，這些相關(guān)信息通通存儲在 metadata 中。所以一旦metadata 損毀，可以想見的是，也許整個(gè)存儲系統(tǒng)內(nèi)的用戶數(shù)據(jù)全部都在，但卻不知道如何組織這些數(shù)據(jù)，這是存儲系統(tǒng)的最大災(zāi)難，如何確保metadata 的安全是所有存儲系統(tǒng)的一個(gè)重要課題。

不同的存儲系統(tǒng)會使用不同的方法來保存 metadata；企業(yè)級的高端存儲系統(tǒng)會將 metadata 存放在具鏡射保護(hù)的非揮發(fā)性內(nèi)存 (non-violated memory) 中，非揮發(fā)性內(nèi)存不會因?yàn)闆]有電源而失去數(shù)據(jù)，另外為了增加系統(tǒng)的可用性，會把 metadata 復(fù)制幾份放在磁盤中，以備不時(shí)之需。中端存儲系統(tǒng)的 metadata 會存放在以 RAID 保護(hù)的特定磁盤中，或是分散在系統(tǒng)的不同硬盤中，保護(hù)顯然就沒有大型存儲系統(tǒng)來的好，但也足夠了。

在最壞的情況下，如果 metadata 真的完全損毀而無法由任何備份來回復(fù)時(shí)，每家存儲系統(tǒng)原廠的研發(fā)部門還是可以在某些特定的狀況下，試著搶救 metadata，不過修復(fù)的時(shí)間與修復(fù)的程度則沒人敢打包票了。就這次的情況來看，境管系統(tǒng)使用的是高端的存儲系統(tǒng)，顯然并不是 metadata 的損毀，否則可能還要花更長的時(shí)間才能修復(fù)。

那么在數(shù)據(jù)硬盤上一次壞掉三顆硬盤？這個(gè)就有趣了，值得來討論一下。

我們都知道現(xiàn)在在存儲系統(tǒng)上普遍使用的 RAID (Redundant Array of Independent Disks)，就是用來保護(hù)資料可以避免因?yàn)閱我淮疟P的故障而致無法使用的技術(shù)，RAID5 是可以容許一個(gè) RAID 群組有一顆磁盤故障而不會影響數(shù)據(jù)的存取，雖然新的 RAID6 技術(shù)可以容許二顆磁盤的故障，但 筆者 相信境管系統(tǒng)應(yīng)該不是使用 RAID6 的技術(shù)。所以，如果使用 RAID5，而這三顆故障的磁盤是分散在三個(gè) RAID 群組中，那就不會出事了，顯然故障的三顆磁盤至少有二顆是在同一個(gè) RAID 群組。

一個(gè) RAID 群組，或是一個(gè)數(shù)據(jù)卷無法使用，會導(dǎo)致系統(tǒng)無法上線？存在這個(gè)數(shù)據(jù)卷上的是必然是一個(gè)極其重要的數(shù)據(jù)文件，沒有它程序無法運(yùn)作。但從應(yīng)用系統(tǒng)設(shè)計(jì)的角度來看，最重要的數(shù)據(jù)文件會考慮以更好方式來保護(hù)，如使用 RAID1，或是在再復(fù)制一份存放在其他地方，一旦因?yàn)橛布栴}無法存取數(shù)據(jù)，可以以人工的方式要求程序去讀取備份的數(shù)據(jù)文件，在最短時(shí)間內(nèi)恢復(fù)聯(lián)機(jī)操作。

另外一個(gè)可能是，這個(gè)故障的數(shù)據(jù)卷是一個(gè)大型資料卷的一部份，這在大型資料文件中相當(dāng)常見；使用數(shù)據(jù)卷管理 (volume management) 軟件，將幾個(gè)硬件的數(shù)據(jù)卷合成一個(gè)數(shù)據(jù)卷，為了避免 RAID 重復(fù)計(jì)算導(dǎo)致數(shù)據(jù)訪問時(shí)間的延遲，這種大型的數(shù)據(jù)卷通常不會再使用 RAID 保護(hù)，而是以 stripping 或是 concatenated 的方式來組成大型數(shù)據(jù)卷，因?yàn)闆]有 RAID 的保護(hù)，一旦有某一個(gè)硬件數(shù)據(jù)卷故障，就會導(dǎo)致數(shù)據(jù)無法存取。

在實(shí)務(wù)上，筆者通常都會建議使用者在考慮使用這種大型數(shù)據(jù)卷時(shí)，數(shù)據(jù)的回復(fù)時(shí)間一定要考慮進(jìn)去，因?yàn)闆]有人敢打包票硬件一定不會故障，硬件故障會不會造成數(shù)據(jù)損毀，通常來講機(jī)率不高，但不是零。這也是為什么要一再強(qiáng)調(diào)數(shù)據(jù)備份的重要性。同時(shí)還要考慮到，一旦數(shù)據(jù)不見了，需要的回復(fù)時(shí)間。

所以回歸到硬件上，究竟在一個(gè) RAID 群組發(fā)生二塊以上的磁盤同時(shí)故障的機(jī)率到底高不高？筆者看到在網(wǎng)絡(luò)上絕大部份的人都認(rèn)為這是中了簽王，不過是不是真的如此？

磁盤驅(qū)動器的可靠度是以平均故障時(shí)間 (MTBF, Mean Time Between Failure) 來評估，以現(xiàn)在的企業(yè)級磁盤驅(qū)動器來說，MTBF 是一百廿萬個(gè)小時(shí)，大概是 136 年，那在我們有生之年應(yīng)該看不到磁盤驅(qū)動器故障才對！其實(shí) MTBF 并不是這樣算的，它是指每一百廿萬個(gè)使用小時(shí)，就可能會有一顆磁盤驅(qū)動器故障，所以有人使用沒幾天，有人可以使用好幾年。所以 MTBF 只是一個(gè)參考值，它可以顯示磁盤驅(qū)動器的可靠度，當(dāng)然 MTBF 越高故障率也越低，但與單一系統(tǒng)可能碰到磁盤故障的機(jī)會并沒有絕對的長短關(guān)系。

另外一個(gè)與碰到磁盤驅(qū)動器故障機(jī)會有關(guān)的因素就是工業(yè)的產(chǎn)品壽命；每一個(gè)單一工業(yè)制品都有它的使用壽命，就像電池一樣，使用壽命到了，它就是會報(bào)廢。但是使用壽命與使用狀況有極大的關(guān)系，運(yùn)作環(huán)境當(dāng)然是一個(gè)很重要因素，國外已經(jīng)有報(bào)告指出，在平均溫度偏高的環(huán)境中運(yùn)作的 IT 設(shè)備，它的故障頻率也會相對的高；以磁盤驅(qū)動器來說，除了環(huán)境之外，使用頻率與使用負(fù)載也是影響產(chǎn)品壽命的因素。用通俗的話來說，就是操得比較兇的，掛得也比較快。

所以就理論上來說，在各種條件都相同的狀況下，同型的磁盤驅(qū)動器如果開始使用的時(shí)間相同，那么它們故障的時(shí)間也會接近。在實(shí)務(wù)上，筆者 也的確遇到過這樣的狀況，同一批上線的磁盤驅(qū)動器，一旦其中有部份開始出現(xiàn)故障的狀況，在接下來的一段時(shí)間，將會出現(xiàn)密集的“換機(jī)潮”。

但吊詭的是，在同一部存儲系統(tǒng)的磁盤驅(qū)動器，雖然外在的環(huán)境是相同的，但使用頻率和使用負(fù)載應(yīng)該是不同的，它們的“故障期”應(yīng)該是不同！這就牽涉到存儲規(guī)劃了。一個(gè)有經(jīng)驗(yàn)的存儲規(guī)劃人員，在建置一個(gè)存儲環(huán)境時(shí)，通常都會與應(yīng)用系統(tǒng)或是數(shù)據(jù)庫管理人員有過溝通，了解每一種數(shù)據(jù)型態(tài)未來的使用狀況，并且盡可能的將使用負(fù)載分散，這是為了數(shù)據(jù)的存取效能與避免出現(xiàn)磁盤上的熱點(diǎn) (hot spot，指的是磁盤上大量數(shù)據(jù)存取而容易造成的壞軌)。所以本來應(yīng)該因?yàn)槭褂脿顩r不同而不致于同時(shí)出現(xiàn)的故障時(shí)間，卻因?yàn)橐?guī)劃時(shí)其他的考慮因素，反而使故障時(shí)間接近。

這次境管系統(tǒng)當(dāng)機(jī)事件，筆者 看網(wǎng)絡(luò)上一片罵聲，當(dāng)然，移民署絕對有很多值得檢討的地方；雖然 IT 設(shè)備是造成這次事件的主因，但 筆者 認(rèn)為 IT 的環(huán)境或是 IT 的建置，是這整個(gè)事件最后一個(gè)才需要被檢討的部份。不論是政府機(jī)關(guān)或是民間企業(yè)，IT 的“備份”設(shè)計(jì)有沒有被認(rèn)真當(dāng)做一件事來討論？根據(jù) 筆者 的經(jīng)驗(yàn)，一定要發(fā)生大事后，才會有人重視！“備份”這件事，不是只有 IT，它是一套應(yīng)變的方法，如果連應(yīng)變的計(jì)劃都沒有，那還談什么 IT 備份呢？

【責(zé)任編輯：劉強(qiáng) TEL：（010）68476606】