@baimmi  中國銀聯股份有限公司

由于數據的機密性與敏感性，業務相互之間的隔離對于在數據中心內部非常重要。在數據中心內部，數據的訪問需要受到嚴格控制，必須進行業務與管理的網絡相互隔離。管理網段與租戶網絡三層互通，租戶通過管理網段訪問存儲系統的Portal界面并下發增、刪、檢、查等管理指令；業務網段則負責業務數據的傳輸，當存儲空間以卷的形式通過業務網段掛載給前端業務系統，并在此網段上提供服務。

按照分布式存儲的范式，存儲系統的管理和業務分屬兩個網段，互相獨立，互不影響，數據傳輸只在業務網段上進行，管理與業務通過服務器通信，無法通過網絡互訪。

在業務網段上，規劃每個服務器由兩根網線分別連接到兩臺交換機。在管理網段上，規劃每個服務器由兩根網線分別連接兩臺交換機。通過節點級的雙網卡主備以及集群級的交換機主備來提供網絡高可靠性。兩個網段使用獨立的物理網卡進行隔離，在條件不滿足的情況下使用不同VLAN隔離。

[[228530]]

依據木桶效應，一個系統的整體性能上限往往是由系統中的薄弱環節決定。當集群采用混合存儲的配置時，標準的10Gbps高速網絡能夠滿足相當規模的集群在負載均衡、數據重建時的壓力；然而，當集群采用全閃存架構時，硬盤性能將大幅提升，此時標準的10Gbps網絡有可能會成為系統中的短板，56 Gbps InfiniBand網絡乃至更高速的100 Gbps網絡，近似無阻塞通信，突破存儲系統內部交換的瓶頸。在InfiniBand網絡中，通信時延控制于納秒級，計算存儲信息及時傳遞，配合SSD的高速讀寫，具有可觀的性能。

@劉東 東軟集團

分布式存儲集群在設計建設過程中，集群網絡是個瓶頸。因為分布式存儲對網絡帶寬的依賴性非常高，所有的數據交換都需要通過網絡進行，所有要求具備高速和可靠的網絡環境。

具體規劃如下：

1、盡量采用10G網絡接口，并采用光口進行連接。上行鏈路采用40G接口。

2、網絡設備盡量做到冗余，至少配置2個萬兆光口接入交換機。

3、分布式存儲集群除了需要交換大量的數據外，可能還會在網絡上執行虛擬機復制和同步活動，具體取決于系統中托管的虛擬機數量和有效操作數量。如果這時候只有千兆網絡，會不堪重負，特別是在虛擬機重建和同步操作期間。

4、將各種流量類型（分布式存儲網絡、管理網絡 、虛擬機遷移網絡、虛擬機生產網絡、）分別放在不同的 VLAN中，并使用份額作為服務質量 (QoS) 機制，以便在可能出現的爭用場景中保持期望的性能級別。

5、劃分不同的VLAN還可以保證分布式存儲集群網絡不受影響，因為分布式存儲集群網絡一旦發生IP地址沖突，將導致整個分布式存儲集群不可用。

6、為了實現***的安全性和性能，應將分布式存儲集群網絡流量隔離至其自己的第 2 層網段。

7、對網卡進行綁定配置，作為可用性和冗余措施，做帶寬聚合。

@Garyy 大地保險

網絡路徑全冗余 虛擬網絡層通過采用多網卡綁定等技術避免單個網卡故障引發的業務中斷。

網絡分平面通信 系統通信平面劃分為業務平面、存儲平面和管理平面。為了保證各種網絡平面數 據的可靠性，不同平面間采用VLAN等技術進行隔離，單個平面故障不影響其余兩個平 面的正常工作。 業務平面:主要為虛擬機虛擬網卡的通信平面，對外提供業務應用。 存儲平面:主要為iSCSI存儲提供通信平面，并為虛擬機提供存儲資源，但不直 接與虛擬機通信，而通過虛擬化平臺轉換。 管理平面:負責整個云計算系統的管理、業務部署、系統加載等流量的通信。 -網卡負荷分擔 對于各通信平面(業務、存儲、管理)均采用雙網卡，雙網卡采用了Bonding模 式，兩網卡被綁定成邏輯上的“一塊網卡”后，同步一起工作。既能對服務器的訪問 流量進行負荷分擔，又能保證其中一塊發生故障的時候，另外的網卡立刻接管全部負 載，過程是無縫的，服務不會中斷。