【51CTO.com綜合報道】構建高可用性網絡是一個復雜的系統工程，如何不斷向著5個9的目標邁進，是所有網絡產品和解決方案提供者和使用者所面臨的永恒課題。

隨著網絡的快速普及和應用的日益深入，各種核心及增值業務在網絡廣泛部署，網絡與業務的結合越來越深入。因此，短時間的網絡中斷將可能影響核心業務處理，給企業帶來巨大損失。在這種背景下，從運營商到各種類型的企業客戶，在構建生產網絡（production network）時，5個9的網絡可用性（一年中不能提供服務的時間在5分鐘左右），已經成為通常建網的追求。但在實際的網絡建設中，由于影響網絡系統可用性的因素眾多，往往很難滿足這一理論目標，其中尤其以廣域網的高可用性最難控制。

度量網絡的可用性

首先，高可用的網絡肯定不能頻繁出現故障。IP承載網即使只出現很短時間的中斷，都會影響業務運營，特別是時性強、對丟包和時延敏感的業務，如語音、視頻和在線游戲等。

其次，高可用性的網絡即使出現故障，也應該能很快恢復。如果一個網絡一年僅出一次故障，但這次故障需要幾個小時，甚至幾天才能恢復，那么這個網絡也算不上一個高可用的網絡。

故障次數少、恢復時間短兩個特征基本概括了高可用網絡的特點，再加入統計學的概念，就可以用“可靠性（Availability）”這一參數來度量網絡的可用性：

MTBF：平均無故障時間（Mean Time Between Failures）

MTTR：平均修復時間（Mean Time To Repair）                

可見，如果要提高網絡可用性，提高MTBF或者降低MTTR都是有效的方法。MTBF取決于網絡設備硬件和軟件本身的質量，而這一手段的作用是有極限的，無法一味的通過提高MTBF數值來獲得高可用性，因此通過減小MTTR來實現網絡高可靠性成為必然的選擇。

從MTTR的構成來看，要想減小其數值需要從兩方面入手，一是以最快的速度發現故障，二是快速從故障狀態中恢復出來。因此構建高可靠性網絡的基礎就是要實現快速故障檢測和快速故障恢復。

在實際的網絡運行環境下，依靠以上的理論公式很難精確計算，因此網絡采用更具實際意義的工程經驗公式來表示網絡系統的可用性，舉例來說：

某企業共n個分支節點，為5000用戶提供7*24接入，分支3在3月份網絡中斷10分鐘，分支9在同月網絡中斷5分鐘，現計算三月份的網絡可用性：

#p#

網絡高可用設計框架

構建高可用性網絡是一個復雜的系統工程，必須從多方面入手，不僅要提升網元本身可用性，同時要縮短故障發生后的恢復時間。系統性的來看，在網絡規劃和設計階段如圖1所示。

圖1 高可用網絡設計架構圖

網絡組件：網絡組件是構成網絡系統的基本元素，核心的網絡組件完成網絡的基本連接，數據包的路由轉發，典型代表為各種交換機、路由器等網絡設備。網絡組件的可用性是決定整個網絡系統可用性的關鍵，因此在網絡設計時這部分內容往往是最優先考慮的部分。

網絡架構：網絡架構表明了網絡組件的連接關系，不同的連接方式影響到網絡系統可用性的計算方法選擇。對于廣域網鏈路，雖然單條鏈路會受各種自然條件的限制，但良好的拓撲設計可以最大程度的彌補這一不足。

網絡協議與配置：僅僅關注物理聯通的網絡可用性是無意義的，一個完善的網絡系統會部署大量的邏輯協議，如路由、鏈路檢測、VPN隧道等等，這些協議的部署也影響著網絡系統的可用性，尤其是對于網絡業務的快速回復方面。

網絡運維：由于各種因素影響，網絡故障總是難免發生的，在發生事故時，高素質的運維水平，可以使影響范圍和恢復時間縮小到最小范圍，彌補對業務造成的影響，因此網絡的運維對整體的高可用性至關重要。

網絡基礎支撐：網絡設備的運行環境為網絡系統的正常運轉提供電力、空調、防雷等各種支撐，良好的基礎支撐可以進一步提升整體網絡的可用性。

針對廣域網我們著重強調前三個方面的設計考慮，并不是說其他方面不重要，只不過這些內容不是本文的重點而已。 #p#

廣域網網絡組件的高可用設計

網絡組件的高可用設計硬件結構的高可用和軟件系統的高可用兩個層面。其結構如圖2所示。

圖2 網絡組件高可用設計架構圖

硬件高可用性主要技術點

主控冗余

主控冗余在控制和轉發分離的架構下才能發揮最大的效用。在控制和轉發分離的架構中，控制平面負責各種協議，如路由協議（如RIP/OSPF/IS-IS/BGP）、標簽分發協議（如LDP/RSVP-TE/BGP）等的處理，形成路由信息表（RIB）和標簽信息表（LIB），從中選擇最優者，加上必要的二層信息，形成路由轉發信息表（FIB）和標簽轉發信息表（LFIB），下發到轉發平面，轉發平面據此實現快速轉發。控制平面的處理在主控板上進行，轉發平面的處理在業務板上。這樣，即使控制平面出現故障，轉發平面的轉發表項的內容在短時間內不會失效，因此可以繼續轉發數據而不會出現問題（如環路）。當然，控制平面必須能快速恢復并重新和鄰居建立協議會話，收斂后再對轉發平面進行檢查，對表項作必要更新，刪除在新的會話環境下不再正確的轉發表項。主控冗余是指設備配置兩塊主控板，互為備份，一塊為Master，另一塊備用，稱為Slave。只有Master進行控制平面的處理，并生成轉發表項。Slave上的映像文件雖然也充分啟動，配置也從Master實時備份，但Slave不參與控制平面的處理。Master轉發平面的各種表項會以實時增量備份和定期完整備份相結合的方式持續備份到Slave上。雖然Slave上的控制平面對網絡狀況一無所知，但由于其在轉發平面上和Master同步，基本能反映當時的網絡轉發狀態，因此隨時可以替換Master承擔起轉發任務，這就是轉發和控制分離帶來的效果。

設備實時檢測Master是否正常工作，檢測手段可以是檢測主備板之間的硬件心跳，也可以使用IPC通道或用其他方式進行檢測。一旦發現Master異常，立即啟動主備切換，由Slave接管Master的工作，Master和Slave的角色互換。和單主控相比，雙主控的收斂性能要好得多，因為在雙主控情況下，Slave已經預先完成映象文件的加載和配置的初始化工作，主備切換時業務板不需要重新注冊，二三層接口也不會出現up/down。另外，因為Slave上已經備份有轉發表項，可以立即承擔轉發任務，在一定程度上可以避免業務中斷。

不過，因為新的Master在主備切換前不參與控制平面的處理，切換后需要重新和鄰居進行會話協商，所以雖然保存了完整的轉發表項，但只能避免部分流量不中斷，如二層以及從本設備往外發送的流量；如果和鄰居之間配置的是靜態路由或靜態LSP的話，鄰居會繼續向進行主備倒換的設備發送流量，流量也不會中斷。但如果和鄰居之間是動態路由協議或動態標簽分發協議，則和鄰居之間的流量會中斷，這是因為在控制平面會話重置的情況下，鄰居的控制平面會重新計算，選擇它認為合適的路徑。以OSPF協議為例，新Master在發出的Hello報文中沒有原來鄰居的RID，會導致鄰居把OSPF會話狀態重置，并把和發生切換的設備相關的LSA刪除，導致路由重新計算。如果有其他可選路徑的話，流量會繞開主備切換的設備；如果沒有可選路徑，則需要等待OSPF重新收斂，在重新收斂之前，鄰居不會把流量發給該設備。

主備切換的前提條件，是檢測到Master故障。在Master故障但沒有被檢測到的時間內，會導致報文丟失。其次，主備切換期間也會丟一部分報文。最后，主備切換完成后，設備需要和和鄰居重建協議會話，這也需要一定時間。總的來說，主備切換的收斂時間為：Master故障檢測時間+切換時間+信令收斂時間。

單板熱插拔

單板熱插拔，是指在設備正常運行時，在線插拔單板，而不影響其他單板的業務。一般的中高端機架式設備，均支持單板熱插拔。單板熱插拔功能包括：

往機框中新增單板不影響在線的單板業務；

可在線更換單板（即拔出老單板換一塊新單板或老板重新插入時，新單板能繼承原來的配置，并且不影響其他單板的工作；

對于分布式設備，在添加或插拔單板時，FIB表能同步到單板。

單板熱插拔和跨板的鏈路捆綁技術相結合，一定程度上提供了單板間的1：N備份功能。

單板熱插拔的收斂時間不好衡量，就以配置繼承和生效為例，收斂時間和配置的類型及配置的多少有極大的關系。如果和鏈路捆綁結合，收斂時間還和鏈路捆幫的收斂時間相關。

電源風扇冗余

為了保證設備電源收入的穩定，中高端設備一般提供雙路電源輸入，當一路輸入出現故障時，能自動切換到另一路，不影響設備功能。另外，中高端設備一般通過多個電源模塊供電，采取1：N備份方式，一個電源模塊為其他N個提供備份，在拔出某一個電源模塊時，其他模塊能提供足夠電源功率。

風扇作為散熱的重要手段，中高端設備也提供風扇冗余，一般提供多個風扇框，可以在線更換其中的風扇框，不影響產品功能。

電源和風扇的切換和更換不應該影響產品的轉發功能，可以認為其收斂時間為0。

軟件系統高可用性主要技術點

動態熱補丁

1.熱補丁原理

補丁是計算機軟件系統和軟件工程學中的一個術語，一般是為了對系統中的某些錯誤進行修正而發布的獨立的軟件單元。它能夠在不影響系統正常運行的情況下完成對系統錯誤的修正，也就是對系統進行動態升級。

其基本原理就是在系統中保留一段內存空間，將新的函數實體以補丁文件的方式加載其中，根據要被替換函數的入口地址找到被替換函數的第一條執行指令，將其改為一條跳轉指令，跳轉地址為新函數的入口地址；這樣當其他函數要調用被替換函數時，CPU根據跳轉指令就會執行新的函數實體。

2.熱補丁狀態轉換

各廠商實現熱補丁的基本原理大體相同，但具體實現上有一定差別。下面以H3C公司熱補丁技術為例簡單介紹狀態機轉換和各狀態的作用。

補丁存在四種狀態：

空閑(IDLE)：初始狀態，補丁沒有被加載

去激活(DEACTIVE)：補丁已經加載，但未被激活

激活(ACTIVE)：補丁處于試運行狀態

運行(RUNNING)：補丁處于正式運行狀態

激活態與運行態的最大區別在于系統重啟后，激活態的補丁轉換為去激活態，不再發揮作用，而運行態的補丁在系統重啟后仍然保持為運行態，繼續發揮作用。補丁的激活態主要是提供一個緩沖帶，以防止因為補丁錯誤而導致系統連續運行故障。補丁的狀態只有在用戶命令的干預下才會發生切換，命令與補丁狀態的切換關系如圖3所示

圖3 命令與補丁狀態切換關系#p#

廣域網網絡架構高可用設計

物理拓撲對網絡可用性的影響

物理拓撲的連接狀況決定了網絡可用性的計算方法。如圖4所示，f1和f2是網絡設備自身的可用性指標，當網絡設備串行連接時，其組成的部分網絡系統的計算為兩設備可靠性指標相乘；當網絡設備并行連接時，其組成部分網絡系統的計算為1減去設備可靠性指標相乘后的反值。多條鏈路對網絡可用性的提升是顯而易見的，但對于廣域網來說，鏈路資源是非常寶貴的，因此實際的部署方案是結合具體情況綜合考慮的結果。

圖4 不同拓撲連接方式的可用性計算方法

在條件允許的情況，一般都選用雙點雙歸的拓撲連接方式。其可用性指標對比如表1所示：

表1 不同拓撲連接方式的典型可用性計算值#p#

廣域網路由協議部署高可用設計

廣域網網絡協議基本以路由協議為主，同時根據廣域網拓撲連接和鏈路種類，會附加部署不同的鏈路檢測協議。以典型的金融雙中心網絡為例，如圖5所示

圖5 金融雙中心網絡路由部署示意圖

設計原則：路由的高可用設計和所選擇的鏈路種類息息相關，對于大型分支之間鏈路連接一般選用高帶寬的SDH鏈路，鏈路的穩定性較高，很少出現閃斷和震蕩的情況，而且分支之間作為骨干鏈路，承載著主要的業務流量，需要非常靈活的流量控制策略，因此可部署eBGP協議；對于小型分支與總部互聯這種情況，鏈路種類復雜，鏈路狀況不穩定，因此在部署收斂時間相對較快的路由協議（如OSPF）時，通常會啟用BFD、NQA等輔助協議，完成對鏈路狀況的檢測，以提高路由協議的收斂速度。

結束語

構建高可用性廣域網絡，需要從網絡組件、網絡架構、網絡協議部署、網絡運維及網絡基礎支撐等方面全盤考慮，所涉及的內容及其豐富。本文僅針對前三個部分進行部分重點的框架性描述，具體實踐還要根據不同的網絡使用場景做有針對性的部署。