淺談Nginx性能調(diào)優(yōu)
Linux系統(tǒng)參數(shù)優(yōu)化
下文中提到的一些配置，需要較新的Linux（2.6以上）內(nèi)核才能夠支持，筆者使用的CentOS 7.4，內(nèi)核版本3.10，如果不滿足需要的話，最好進(jìn)行相應(yīng)的升級(jí)，畢竟打補(bǔ)丁是件費(fèi)力不討好的事情。對(duì)于系統(tǒng)層面的調(diào)優(yōu)，通常我們修改文件描述符限制、緩沖區(qū)隊(duì)列長(zhǎng)度以及臨時(shí)端口數(shù)量就可以了。
文件描述符限制
由于每個(gè)TCP連接都要占用一個(gè)文件描述符，一旦文件描述符耗盡，新的連接到來(lái)就會(huì)返回“Too many open files”這樣的錯(cuò)誤，為了提高性能，我們需要對(duì)其進(jìn)行修改：1.系統(tǒng)層級(jí)的限制 編輯文件 /etc/sysctl.conf，添加如下內(nèi)容：
- 1. `fs.file-max =10000000`
- 2. `fs.nr_open =10000000`
2.用戶層級(jí)的限制 編輯文件 /etc/security/limits.conf，添加以下內(nèi)容：
- 1. `* hard nofile 1000000`
- 2. `* soft nofile 1000000`
這里我們只要保證用戶層級(jí)限制不大于系統(tǒng)層級(jí)限制就可以了，否則可能會(huì)出現(xiàn)無(wú)法通過(guò)SSH登錄系統(tǒng)的問(wèn)題。修改完畢執(zhí)行如下命令：
- 1. `$ sysctl -p`
可以通過(guò)執(zhí)行命令 ulimit -a查看是否修改成功。
TCP連接隊(duì)列長(zhǎng)度
編輯文件 /etc/sysctl.conf，添加如下內(nèi)容：
- 1. `# The length of the syn quene`
- 2. `net.ipv4.tcp_max_syn_backlog =65535`
- 3. `# The length of the tcp accept queue`
- 4. `net.core.somaxconn =65535`
其中 tcp_max_syn_backlog用于指定半連接SYN隊(duì)列長(zhǎng)度，當(dāng)新連接到來(lái)時(shí)，系統(tǒng)會(huì)檢測(cè)半連接SYN隊(duì)列，如果隊(duì)列已滿，則無(wú)法處理該SYN請(qǐng)求，并在 /proc/net/netstat中的 ListenOverflows和 ListenDrops中增加統(tǒng)計(jì)計(jì)數(shù)somaxconn用于指定全連接ACCEPT隊(duì)列長(zhǎng)度，當(dāng)該隊(duì)列滿了以后，客戶端發(fā)送的ACK包將無(wú)法被正確處理，并返回錯(cuò)誤"connection reset by peer"Nginx則會(huì)記錄一條error日志"no live upstreams while connecting to upstreams"如果出現(xiàn)以上錯(cuò)誤，我們需要考慮增大這兩項(xiàng)的配置。
臨時(shí)端口
由于Nginx用作代理，每個(gè)到上游Web服務(wù)的TCP連接都要占用一個(gè)臨時(shí)端口，因此我們需要修改 ip_local_port_range參數(shù) 修改 /etc/sysctl.conf文件，添加如下內(nèi)容：
- 1. `net.ipv4.ip_local_port_range =102465535`
- 2. `net.ipv4.ip_local_reserved_ports =8080,8081,9000-9010`
其中，參數(shù) ip_local_reserved_ports用于指定保留端口，這是為了防止服務(wù)端口被占用而無(wú)法啟動(dòng)。
Nginx參數(shù)優(yōu)化
Nginx參數(shù)優(yōu)化主要圍繞 nginx.conf這個(gè)配置文件展開，下文不再贅述。
工作進(jìn)程
Nginx性能強(qiáng)大的一個(gè)重要原因在于它采用多進(jìn)程非阻塞I/O模型，因此我們要妥善利用這一點(diǎn)：
- worker_processes 默認(rèn)的Nginx只有一個(gè)master進(jìn)程一個(gè)worker進(jìn)程，我們需要對(duì)其進(jìn)行修改，可以設(shè)置為指定的個(gè)數(shù)，也可以設(shè)置為 auto，即系統(tǒng)的CPU核數(shù)。更多的worker數(shù)量將導(dǎo)致進(jìn)程間競(jìng)爭(zhēng)cpu資源，從而帶來(lái)不必要的上下文切換。因此這里我們將它設(shè)置為cpu的核數(shù)即可： worker_processes auto
- worker_connections 每個(gè)worker可以處理的并發(fā)連接數(shù)，默認(rèn)值512不是很夠用，我們適當(dāng)將它增大： worker_connections 4096
- Nginx支持以下I/O復(fù)用方法處理連接：select、 poll、 kqueue、 epoll、 rtsig、 /dev/poll、 eventport。它們分別適用于不同的操作系統(tǒng)，其中 epoll是Linux系統(tǒng)上面效率最高的： use epoll
KeepAlive
為了避免從Nginx到Web服務(wù)頻繁的建立、斷開連接，我們可以啟用從HTTP 1.1開始支持的KeepAlive長(zhǎng)連接特性，它可以大幅減少CPU和網(wǎng)絡(luò)開銷，在我們的實(shí)戰(zhàn)中也是對(duì)性能提高最大的一環(huán)。keepalive必須和 proxy_http_version與 proxy_set_header結(jié)合使用， 參考配置如下：
- 1. `upstream BACKEND {`
- 2. ` keepalive 300;`
- 3. ` server 127.0.0.1:8081;`
- 4. `}`
- 5. `server {`
- 6. ` listen 8080;`
- 7. ` location /{`
- 8. ` proxy_pass http://BACKEND;`
- 9. ` proxy_http_version 1.1;`
- 10. ` proxy_set_header Connection"";`
- 11. `}`
- 12. `}`
其中 keepalive既非timeout，也不是連接池?cái)?shù)量，官方解釋如下：
The connections parameter sets the maximum number of idle keepalive connections to upstream servers that are preserved in the cache of each worker process. When this number is exceeded, the least recently used connections are closed.
可以看出它的意思是“最大空閑長(zhǎng)連接數(shù)量”，超出這個(gè)數(shù)量的空閑長(zhǎng)連接將被回收，當(dāng)請(qǐng)求數(shù)量穩(wěn)定而平滑時(shí)，空閑長(zhǎng)連接數(shù)量將會(huì)非常小（接近于0），而現(xiàn)實(shí)中請(qǐng)求數(shù)量是不可能一直平滑而穩(wěn)定的，當(dāng)請(qǐng)求數(shù)量有波動(dòng)時(shí)，空閑長(zhǎng)連接數(shù)量也隨之波動(dòng)：
- 當(dāng)空閑長(zhǎng)連接數(shù)量大于配置值時(shí)，將會(huì)導(dǎo)致大于配置值的那部分長(zhǎng)連接被回收；
- 當(dāng)長(zhǎng)連接不夠用時(shí)，將會(huì)重新建立新的長(zhǎng)連接。
因此，如果這個(gè)值過(guò)小的話，就會(huì)導(dǎo)致連接池頻繁的回收、分配、再回收。為了避免這種情況出現(xiàn)，可以根據(jù)實(shí)際情況適當(dāng)調(diào)整這個(gè)值，在我們實(shí)際情況中，目標(biāo)QPS為6000，Web服務(wù)響應(yīng)時(shí)間約為200ms，因此需要約1200個(gè)長(zhǎng)連接，而 keepalive值取長(zhǎng)連接數(shù)量的10%~30%就可以了，這里我們?nèi)?00，如果不想計(jì)算，直接設(shè)為1000也是可行的。
Access-Log緩存
記錄日志的I/O開銷比較高，好在Nginx支持日志緩存，我們可以利用這個(gè)功能，降低寫日志文件的頻率，從而提高性能。可以將 buffer和 flush兩個(gè)參數(shù)結(jié)合使用來(lái)控制緩存行為：
- 1. `access_log /var/logs/nginx-access.log buffer=64k gzip flush=1m`
其中 buffer制定了緩存大小，當(dāng)緩沖區(qū)達(dá)到 buffer所指定的大小時(shí)，Nginx就會(huì)將緩存起來(lái)的日志寫到文件中；flush指定了緩存超時(shí)時(shí)間，當(dāng) flush指定的時(shí)間到達(dá)時(shí)，也會(huì)觸發(fā)緩存日志寫入文件操作。
文件描述符限制
上一節(jié)中已經(jīng)對(duì)Linux系統(tǒng)的文件描述符限制進(jìn)行了修改，Nginx配置中同樣有相應(yīng)的配置項(xiàng)：worker_rlimit_nofile, 理論上這個(gè)值應(yīng)該設(shè)置為 /etc/security/limits.conf 中的值除以 worker_processes, 但實(shí)際中不可能每個(gè)進(jìn)程均勻分配，所以這里只要設(shè)置成和 /etc/security/limits.conf 一樣就可以了
- 1. `worker_rlimit_nofile 1000000;`
總結(jié)
以上就是筆者進(jìn)行Nginx調(diào)優(yōu)的一些經(jīng)驗(yàn)，可以看出基本是圍繞Nginx的Error日志展開的，之后又對(duì)一些比較大的性能瓶頸進(jìn)行了一些改進(jìn)。Nginx能夠優(yōu)化的地方非常多，本文只涉及到了其中很小的一些方面，但也足夠滿足我們的使用場(chǎng)景了。
