容器云平臺一大技術難題：網絡該選 SDN 還是 underlay，或者選……？
容器云平臺建設難點之網絡如何選擇?如果選SDN網絡，那么SDN網絡實現方案又應該如何選擇?
容器云平臺的網絡一直是一個技術難題，是采用SDN網絡還是橋接到Underlay網絡;如果使用SDN網絡，那么多的SDN網絡實現方案，如何選擇?
問題來自@Dongxin 某銀行股份有限公司系統架構師，下文來自twt社區眾多同行實踐經驗分享，歡迎大家參與交流，各抒己見。
@liufengyi 某互聯網銀行 軟件架構設計師：
優先考慮公司整個網絡扁平化，互聯互通，這樣對應用改造成本要小很多，即基于公司原來的網絡打通來進行。如果容器的應用是一個相對獨立的服務，可以考慮overlay。規模不大的情況下一些開源網絡組件可以考慮采用。
@某金融企業 系統工程師：
calico、bgp、ingress、nginx等都是可以的
1、calico將集群內與集群外網絡打通，但是隨著集群外訪問集群內的節點越來越多，運維難度會加大
2、bgp需配置內部路由協議，性能上有損耗
3、ingress、nginx道理類似，將需要被外部訪問的應用使用這兩個組件外部負載進到集群內部
4、hostnetwork方式
5、nodeport方式
……
如何選擇要根據自身IT架構及監管要求定了
@zhuqibs 軟件開發工程師：
關于SDN還是underlay，如果你是自建的，一定不會選用SDN， 成本啊，兄弟們!Cisco去年要給我們搭建個ACI， 一個交換機就是1萬多，如果是銀行錢多沒有關系，中小企業資金緊張加上疫情，哪會選擇。
VMware的NST-G我們也用過，有bug，這個PKS每個月都會有一次“月經”，每次網絡存儲全堵死，IO基本龜速，廠商派人解決了大半年，連交換機都換了都沒有解決，結果賠了3臺服務器，幫我們全換成普通的vcentor。
SDN聽上去美好，現實很骨感，當然如果你有錢并愿意試錯，又追求新技術，當然也是沒問題的。比如阿里云、騰訊云這些公有云，基本必然是SDN，人家有錢有人，來填坑。
所以，一般公司Underlay就可以了，加上Kubernetes自己的calico，fannel，或cattle，一般都沒問題，就是網絡上沒有硬隔離，沒有客戶化的東東，但我們可以用公有云的啊，自己去建，多費錢。
@xiaoping378 某行科技公司 系統架構師：
1. 既然是說容器云平臺建設，肯定已經有了網絡基礎設施，那不考慮數據中心級別的SDN方案。只考慮在已有的網絡建設成果上建設。
2. 不用迷信商業方案，無論是開源還是商業方案，大家都得遵守k8s的cni接口。不建議在容器網絡方案中寄托太多的功能，如網絡限速、安群策略等等。
3. 考慮目前主機層面大都可以保障二層是通的。最簡單方案方案可以選flannel。目前flannel發展到現在，已經支持vxlan模式下啟用DR網絡了，通俗講，就是同一子網下，走hostgw，宿主機充當軟路由，性能接近裸網，垮子網的情況走vxlan。即兼顧了性能，又考慮了可擴展性。另外flannel目前也重點優化了大規模容器云的路由表或arp占用過多問題，做到了：每擴展一個主機只增加一個路由項、一個fdb項、一個arp項。
4. 如果考慮容器網絡隔離和安全策略的話(其實沒必要，網絡隔離，可以從項目級別來設置調度策略做到物理隔離)，可以考慮Canal網絡方案，他是calico和flannel的結合體。
@Garyy 某保險 系統工程師：
關于容器網絡的建設思路：
容器網絡發展到現在，已經是雙雄會的格局。雙雄會其實指的就是Docker的CNM和Google、CoreOS、Kuberenetes主導的CNI。首先明確一點，CNM和CNI并不是網絡實現，他們是網絡規范和網絡體系，從研發的角度他們就是一堆接口，你底層是用Flannel也好、用Calico也好，他們并不關心，CNM和CNI關心的是網絡管理的問題。
網絡需求調研發現，業務部門主要關注以下幾點：1、容器網絡與物理網絡打通;2、速度越快越好;3、改動越少越好;4、盡可能少的風險點。
容器的網絡方案大體可分為協議棧層級、穿越形態、隔離方式這三種形式
協議棧層級：二層比較好理解，在以前傳統的機房或虛擬化場景中比較常見，就是基于橋接的 ARP+MAC 學習，它最大的缺陷是廣播。因為二層的廣播，會限制節點的量級;三層(純路由轉發)，協議棧三層一般基于 BGP，自主學習整個機房的路由狀態。它最大的優點是它的 IP 穿透性，也就是說只要是基于這個 IP 的網絡，那此網絡就可以去穿越。顯而易見，它的規模是非常有優勢，且具有良好的量級擴展性。但在實際部署過程中，因為企業的網絡大多受控。比如，有的企業網絡的 BGP 是基于安全考慮不給開發者用或者說企業網絡本身不是 BGP，那這種情況下你就受限了;協議棧二層加三層，它的優點是能夠解決純二層的規模性擴展問題，又能解決純三層的各種限制問題，特別是在云化 VPC 場景下，可以利用 VPC 的跨節點三層轉發能力。
穿越形態：這個與實際部署環境十分相關。穿越形態分為兩種：Underlay、Overlay。
Underlay：在一個較好的可控的網絡場景下，我們一般利用 Underlay?？梢赃@樣通俗的理解，無論下面是裸機還是虛擬機，只要整個網絡可控，容器的網絡便可直接穿過去 ，這就是 Underlay。
Overlay：Overlay 在云化場景比較常見。Overlay 下面是受控的 VPC 網絡，當出現不屬于 VPC 管轄范圍中的 IP 或者 MAC，VPC 將不允許此 IP/MAC 穿越。出現這種情況時，我們可利用 Overlay 方式來做。
Overlay網絡使物理網絡虛擬化、資源池化，是實現云網融合的關鍵。把Overlay網絡和SDN技術結合使用，把SDN控制器作為Overlay網絡控制平面的控制器，這種方式更容易使網絡與計算組件整合，是網絡向云平臺服務轉變的理想選擇。
隔離方式：隔離方式通常分為VLAN和VXLAN 兩種。
VLAN：VLAN 機房中使用偏多，但實際上存在一個問題。就是它總的租戶數量受限。眾所周知，VLAN 具有數量限制。
VXLAN：VXLAN 是現今較為主流的一種隔離方式。因為它的規模性較好較大，且它基于 IP 穿越方式較好。
@Steven99 軟件架構設計師：
容器網絡選擇我個人覺得不是重點，其實不管哪種網絡，都應該對終端用戶透明，所以不應該糾結于網絡模型。
需要考慮的重點可能是安全性，穩定性，易用性等，我們使用calico網絡，發現也是很多問題，在考慮替換。開源產品總是需要很多額外的工作，測試驗證，逐步優化，不實際使用，很難說哪種更合適，在使用過程中可能會逐步清晰自己的需求。
容器安全，容器網絡安全可能是重點，特別上生產業務，服務數量達到一定量后，會有很多想不到的問題，當然，不實際做過，也很難選擇，所以可以嘗試先用起來，經常使用會逐步清晰明白自己要什么。
