百萬并發設計

面對百萬并發，首要任務是在流量接入層進行極致優化和分流。

接入層（LVS + Keepalived）：使用 LVS（四層負載均衡）作為第一道防線。

利用其內核態轉發的高性能和 Keepalived 實現的高可用性，快速分發海量tcp/udp連接。

在 LVS 之后，部署 Nginx ，這一層負責七層負載均衡。

將復雜的業務邏輯處理從 LVS 分離，提高 LVS 的效率。

最后，作為所有微服務對外的統一入口，網關必須具備極高的性能和彈性。

負載并發設計

百萬并發下，流量入口易成瓶頸，單層負載（如純Nginx）難以支撐峰值。

為應對突發與持續的海量請求，采用多層負載均衡架構可分擔網絡與應用壓力。

upstream microservices {
     least_conn;# 最少連接算法，優化高并發
     server 192.168.1.10:8080 weight=3 max_fails=3 fail_timeout=10s;
     server 192.168.1.11:8080 weight=2;
     keepalive 32;# 連接池復用，提升吞吐
 }
  
 server {
     listen 80;
     location /api/{
         proxy_pass http://microservices;
         proxy_set_header X-Real-IP $remote_addr;
         health_check interval=3 fails=2 uri=/actuator/health;
 }
 }

第一層：通常使用LVS（Linux Virtual Server），在四層轉發（L4）。

實現高性能、低開銷的調度，負責將流量快速分發到集群入口。

第二層以Nginx等反向代理在七層（L7）進行智能路由、緩存靜態內容與做SSL終端。

LVS負責高吞吐與連接分發，Nginx負責HTTP層的會話保持、請求過濾與緩存。

兩者協同，可顯著提高并發承載能力并降低單點瓶頸風險。

微服務網關架構

網關作為微服務統一入口，在百萬并發下需處理認證、路由和流量整形。

Spring Cloud Gateway（基于WebFlux和Netty）取代Zuul。

承擔認證鑒權、協議轉換、路由聚合與統一限流等職責。

支持非阻塞I/O，單實例QPS超10萬，適合高并發場景。

設計要點：

高并發架構：Reactor模型+異步處理，避免線程阻塞。

動態路由使用Predicate（路徑/Header匹配）和Filter（限流/日志），集成Nacos服務發現實現負載均衡。

核心功能：JWT/OAuth認證、灰度發布（基于User-Agent）和緩存穿透防護。

與上游協同：Nginx卸載靜態資源，Gateway專注業務路由。

典型鏈路：客戶端→LVS/Nginx→Gateway→后端服務。

服務熔斷

面對高并發和不穩定的網絡環境，服務熔斷是關鍵保障。

熔斷器監控服務調用指標（如錯誤率、延遲），當異常超過閾值時，自動切斷調用鏈，防止故障擴散到整個系統。

通過快速失敗保護系統資源，避免雪崩效應，保證其余服務正常工作。

常用熔斷框架包括Sentinel、Hystrix…等。

服務降級

降級與限流是保障核心業務可用性的最后防線。

限流通過令牌桶、漏斗或計數器等算法控制進入系統的請求速率，防止資源耗盡；

降級則在資源緊張或服務不可用時，將非核心功能或耗時操作退化為輕量處理或靜態響應，從而優先保證關鍵路徑的可用性。