[[269530]]

 1.集群路由器產(chǎn)生的原因

集群就是當一個人/物解決不了時，必須集中一群人/物協(xié)同工作，集群的概念應(yīng)用在許多領(lǐng)域。

集群路由技術(shù)的產(chǎn)生，主要有兩個直接的原因：

首先，單機容量逐步發(fā)展到極限;

其次，超級節(jié)點的產(chǎn)生使得網(wǎng)絡(luò)結(jié)構(gòu)越趨復(fù)雜，運維管理難度加大。

(1)單機容量到達極限

近年來，路由器技術(shù)發(fā)展很快，容量有了大幅度的提升，具體表現(xiàn)為槽位數(shù)量的增多、每槽交換能力的提升以及板卡端口密度的不斷提高。設(shè)備廠商每年推出的新路由器，都是朝著這個方向發(fā)展。單槽位處理能力從原有40G、100G到400G，目前主流的廠商均支持單槽位1T。

對于核心層路由器來說，除了具備快速轉(zhuǎn)發(fā)的能力、高安全穩(wěn)定性之外，更重要的是，容量足夠大、可擴展強。然而，互聯(lián)網(wǎng)流量的發(fā)展都是遠遠超過設(shè)備容量更新的速度。互聯(lián)網(wǎng)流量每12個月增長1倍，而路由器的容量每18個月才增長1倍。對于單臺路由器來說，其擴展是有一定限制的，需考慮光器件的發(fā)展成熟度，以及電源、散熱、機房承重等方面，而且也無法超越流量增長的摩爾定律。目前單臺路由器的開發(fā)技術(shù)已經(jīng)逐步發(fā)展到極限，路由器的發(fā)展需尋求一個新的出路。

(2)網(wǎng)絡(luò)結(jié)構(gòu)越趨復(fù)雜

由于單臺路由器的容量擴展性有限，因此，近年來不斷提出了其他方案來緩解設(shè)備壓力。主要有以下兩種：

網(wǎng)絡(luò)層次分布式，即部署多個網(wǎng)絡(luò)層次，通過逐層匯聚，減輕設(shè)備壓力。

節(jié)點內(nèi)部署多臺設(shè)備，即增加節(jié)點內(nèi)設(shè)備數(shù)量，通過負載分擔的方式減輕設(shè)備壓力。

兩者都是在單臺路由器不能繼續(xù)擴展的情況下，通過改變網(wǎng)絡(luò)結(jié)構(gòu)來適應(yīng)流量的增長，主要差別在于網(wǎng)絡(luò)分別在縱向和橫向進行擴展。這兩種方法都在一定程度上緩解了單臺設(shè)備容量有限的局面，但隨之而來的卻是網(wǎng)絡(luò)復(fù)雜度以及內(nèi)部互聯(lián)端口的增加。眾所周知，內(nèi)部端口是不產(chǎn)生實際經(jīng)濟效益的，相反還會增加不少投資。而網(wǎng)絡(luò)結(jié)構(gòu)的日趨復(fù)雜，也增加了運維部門的管理難度，同時也產(chǎn)生了多臺路由器之間如何均衡流量的問題。超級節(jié)點就是這樣誕生的，即一個城市同時存在多個網(wǎng)絡(luò)層次，而每個網(wǎng)絡(luò)層次都有多臺設(shè)備(如圖2所示)，網(wǎng)絡(luò)連接的復(fù)雜程度可想而知。因此，此方案只是目前路由器容量無法繼續(xù)擴展的替代方案，是暫時性的，互聯(lián)網(wǎng)網(wǎng)絡(luò)流量的飛速增長，新興應(yīng)用的不斷呈現(xiàn)，都在呼喚容量更高，更具擴展性路由器-集群路由器。

2 集群路由器技術(shù)概述：

集群路由器：又稱路由器矩陣或多機框互聯(lián)(Multi-Chasis)，即通過采用并行交換技術(shù)(PPS)，將兩臺或兩臺以上的普通核心路由器通過某種方式連接，共同組成一個多級多平面的交換矩陣系統(tǒng)，使其能夠協(xié)同工作，并且對外只表現(xiàn)為一臺邏輯路由器，從而突破單機箱在交換容量、功耗、散熱等方面的限制，平滑擴展為更大容量的路由交換系統(tǒng)。

集群路由器根據(jù)組合方式不同，分別對應(yīng)背對背和n(交換框)拖m(用戶框)兩種。背對背即是將兩臺路由器單機直接互聯(lián)，無需通過交換矩陣。這種方法擴展性較差，屬于過渡期的暫代方案。n拖m是指將m臺路由器單機通過1臺或n臺交換矩陣機箱互聯(lián)。集群系統(tǒng)內(nèi)各臺設(shè)備之間采用專門的光纖束進行互連。這種方式擴展性較好，是目前路由器集群技術(shù)的主流方式，也是未來的發(fā)展方向。用戶框可作為一個獨立系統(tǒng)運行， 獨立運行的用戶框即單機系統(tǒng);多個用戶框通過交換框級聯(lián)形成一個邏輯上的系統(tǒng)，對外體現(xiàn)為單臺路由器設(shè)備，邏輯系統(tǒng)中的用戶框、交換框及級聯(lián)部件統(tǒng)稱為集群系統(tǒng)。

交換框級聯(lián)，可行的配置方式包括但不限于：1+4(1個交換框和最多4個用戶框), 2+8(2個交換框和最多8個用戶框), 4+16(4個交換框和最多16個用戶框)，16+64(16個交換框和最多64個用戶框)等，集群路由器要求可以根據(jù)需要配置交換框和用戶框數(shù)量，如實現(xiàn)2+4的產(chǎn)品形態(tài)，即2個交換框和4個用戶框，用戶框的數(shù)量根據(jù)用戶的需要配置。上圖所示為1+4產(chǎn)品形態(tài)的示意圖，一個交換機框跟4 個用戶框連接，用戶框和交換機框之間通過級聯(lián)專用接口實現(xiàn)數(shù)據(jù)平面和控制平面的級聯(lián)。

3. 集群技術(shù)的交換機制

交換是路由器的核心，直接決定了整個系統(tǒng)的主要性能。在引入交換方式之前，路由器大多采用共享總線的分布式處理技術(shù)。共享總線的實現(xiàn)比較簡單，但由于不能避免產(chǎn)生內(nèi)部沖突，使得高速率總線的設(shè)計受到限制，難度也越來越大。交換技術(shù)借鑒了ATM交換機的各種優(yōu)勢，很好地解決了共享總線的不足。一直以來，設(shè)備廠商和運用商都在研究和尋求更有效率的交換方案，以解決交換過程中的阻塞問題。

交換結(jié)構(gòu)又分為單級交換和多級交換兩種。

3.1　單級交換

目前使用較多的單級交換結(jié)構(gòu)有共享內(nèi)存和Crossbar兩種。

共享內(nèi)存結(jié)構(gòu)通過共享輸入和輸出端口存儲器件，減少了對總體存儲空間的需求。分組交換通過指針調(diào)度實現(xiàn)，提高了交換容量。共享內(nèi)存結(jié)構(gòu)相對簡單，交換效率可根據(jù)需求不斷優(yōu)化。共享內(nèi)存交換結(jié)構(gòu)的交換性能取決于共享內(nèi)存的存取速率，可擴展性較差，尤其當板卡端口數(shù)量較多時，交換效率有所下降。另外，并且共享內(nèi)存的穩(wěn)定一般，也直接影響了整個交換體系。

Crossbar是一種嚴格的非阻塞交換結(jié)構(gòu)，輸入輸出之間可建立多條通路。Crossbar交換結(jié)構(gòu)又分為集中式(輸入>輸出)、擴展式(輸入<輸出)和連接式(輸入=輸出)3種。典型的Crossbar采用連接式，即N×N的交叉矩陣。Crossbar使用調(diào)度器，根據(jù)各輸入點相關(guān)的信息，運算調(diào)度算法得到輸入和輸出之間的一個匹配，并配置相應(yīng)交叉點。調(diào)度器的效率非常關(guān)鍵，決定了Crossbar的交換速率，因此調(diào)度算法必須高度完善。

但Crossbar同樣存在擴展性的問題，即交換矩陣的交叉點會隨著輸入輸出數(shù)量的增多呈指數(shù)增長。為維持無阻塞交換，需不斷完善和改進調(diào)度算法，代價是開發(fā)的技術(shù)成本越來越高。另外，Crossbar也同樣不能避免排隊仲裁，傳輸效率受到一定影響和限制。但相比共享內(nèi)存結(jié)構(gòu)，Crossbar效率和擴展性都比較好，目前大部分高端路由器都使用Crossbar交換結(jié)構(gòu)。

共享內(nèi)存和Crossbar都屬于單級交換結(jié)構(gòu)的范疇。單級交換結(jié)構(gòu)由于受到技術(shù)上的各種限制，可擴展性畢竟不夠完善，而且由于無法避免仲裁機制，容易形成瓶頸。因此，單級交換結(jié)構(gòu)不是未來大容量路由器的發(fā)展方向，需逐步擴展至多級交換結(jié)構(gòu)。

3.2　多級交換

多級交換通過多個獨立的交換矩陣，組成一個多級多平面交換矩陣。每個平面配置獨立的仲裁器，避免了仲裁器瓶頸問題。多級交換大大增強了系統(tǒng)擴展能力，目前路由器集群都是采用多級交換結(jié)構(gòu)。

多級交換結(jié)構(gòu)的基本組成單位叫交換單元，每個交換單元具有輸入和輸出功能。各個交換單元通過一定的邏輯順序相互連接，形成一個巨大的、可擴展的交換網(wǎng)絡(luò)。多級交換結(jié)構(gòu)的形式有很多種，包括Clos、Banyan、Butterfly和Benes等，各種交換結(jié)構(gòu)的不同主要在于交換單元的互聯(lián)方式。多級交換結(jié)構(gòu)又可分為有阻塞和無阻塞兩種，其中無阻塞交換又分為嚴格無阻塞、可重排無阻塞和廣義無阻塞3種。

嚴格無阻塞交換是指只要這個連接的起點和終點是空閑的，任何時刻都可以在交換網(wǎng)絡(luò)中建立一個連接;

可重排無阻塞網(wǎng)絡(luò)是指只要某個連接的起點、終點是空閑的，任何時刻都可以在交換網(wǎng)絡(luò)中直接或間接對已有的連接重新選路來建立一個連接;

廣義無阻塞網(wǎng)絡(luò)是指在順序建立連接時按照一定的規(guī)則選路，那么也可以在任何時刻建立連接。

Benes屬于可重排無阻塞網(wǎng)絡(luò)。Benes使用方形交換單元(輸入輸出端口數(shù)相同)。一個典型的3級Benes N*N交換結(jié)構(gòu)可以在每個輸入端和每個輸出端之間形成n個可能的通路。Benes輸出可以擴展至任意奇數(shù)級。Benes的主要優(yōu)點是實現(xiàn)簡單，缺點是建立連接時需要重新選路，會增加數(shù)據(jù)傳輸時延。目前Cisco的CRS集群路由器系統(tǒng)采用此方案。

Clos屬于嚴格無阻塞方式，是Benes的延伸，由非方形交換單元組成。Clos交換結(jié)構(gòu)在任一輸入與輸出之間存在多條可達路徑。要保證嚴格的無阻塞，Clos必須滿足以下條件，即m>=2n-1，其中m是第二級的交換單元數(shù)，n是***級單元的入線數(shù)和第三級單元的出線數(shù)。典型的Clos結(jié)構(gòu)有3級。

Clos的優(yōu)點在于網(wǎng)絡(luò)結(jié)構(gòu)清晰，傳輸時延較低。但是，為了增加容量和降低阻塞，需大量上調(diào)m和n的數(shù)量，將導(dǎo)致技術(shù)成本和實現(xiàn)復(fù)雜度的增加。Clos適合于在大型網(wǎng)絡(luò)設(shè)計中使用，通過使用較小的交換結(jié)構(gòu)簡化網(wǎng)絡(luò)層次，另外可大大減少構(gòu)建無阻塞交換結(jié)構(gòu)所需要的交叉點，降低構(gòu)建大型交換網(wǎng)絡(luò)的成本。

除了思科外的廠家如HW、ZTE、Juniper均采用的CLOS交換網(wǎng)絡(luò)做數(shù)據(jù)平面的集群。

4.集成路由器部署帶來的好處

路由器集群技術(shù)通過集中化、一體化的控制管理，使集群系統(tǒng)各臺路由器單機之間能夠很好地協(xié)同工作，極大的擴展了路由器的容量，從而突破了單機在開發(fā)技術(shù)工藝上的限制。在成本方面，由于集群系統(tǒng)中各臺路由器通過高速光纖互連，節(jié)省了額外的內(nèi)部互聯(lián)端口，大大減少了投資。更為重要的是，由于集群路由器對外僅體現(xiàn)為一臺路由器，使得網(wǎng)絡(luò)拓撲和路由策略變得簡單和清晰，維護也更加方便快捷。