還在擔(dān)心服務(wù)器進(jìn)程被OOM？只需一招，即可避免
問(wèn)題描述
Linux 內(nèi)核有個(gè)機(jī)制叫 OOM killer(Out-Of-Memory killer)，該機(jī)制會(huì)監(jiān)控那些占用內(nèi)存過(guò)大，尤其是瞬間很快消耗大量?jī)?nèi)存的進(jìn)程，為了防止內(nèi)存耗盡而內(nèi)核會(huì)把該進(jìn)程殺掉。
典型的情況是：某天一臺(tái)機(jī)器突然 ssh 遠(yuǎn)程登錄不了，但能 ping 通，說(shuō)明不是網(wǎng)絡(luò)的故障，原因是 sshd 進(jìn)程被 OOM killer 殺掉了(多次遇到這樣的假死狀況)。重啟機(jī)器后查看系統(tǒng)日志「/var/log/messages」會(huì)發(fā)現(xiàn)「Out of Memory: Kill process 1865(sshd)」類似的錯(cuò)誤信息。
如何防止重要的系統(tǒng)進(jìn)程觸發(fā)(OOM)機(jī)制而被殺死呢?只需要一招，就可以輕松避免。
設(shè)置參數(shù)「/proc/PID/oom_adj為-17」，可臨時(shí)關(guān)閉 Linux 內(nèi)核的 OOM 機(jī)制。內(nèi)核會(huì)通過(guò)特定的算法給每個(gè)進(jìn)程計(jì)算一個(gè)分?jǐn)?shù)來(lái)決定殺哪個(gè)進(jìn)程，每個(gè)進(jìn)程的 OOM 分?jǐn)?shù)可以在「/proc/PID/oom_score」中找到。
處理辦法
1. 方法一：設(shè)置參數(shù)/proc/PID/oom_adj為-17
如何防止mongod被殺，可以這樣操作：
(1) 編寫腳本文件oomadj.sh，內(nèi)容如下：
- #!/bin/bash
- netstat -ntlup |grep mongod |awk '{print$NF}' |awk -F '/' '{print$(NF-1)}' |while read PID;
- do
- echo -17 >/proc/$PID/oom_adj;
- done
(2) 設(shè)置定時(shí)計(jì)劃
- [root@mnkj-mongodb-01 ~]crontab -e
- */1 * * * * /root/oomadj.sh
至于為什么用-17而不用其他數(shù)值(默認(rèn)值為0)，這個(gè)是由linux內(nèi)核定義的，查看內(nèi)核源碼可知：
以 linux-3.3.6 版本的 kernel 源碼為例，路徑為「linux-3.6.6/include/linux/oom.h」，閱讀內(nèi)核源碼可「oom_adj」的可調(diào)值為 15 到 -16，其中 15 最大-16 最小，-17 為禁止使用OOM。「oom_score」為 2 的 N 次方計(jì)算出來(lái)的，其中 N 就是進(jìn)程的「oom_adj」值，所以「oom_score」的分?jǐn)?shù)越高就越會(huì)被內(nèi)核優(yōu)先殺掉。
2. 方法二：修改內(nèi)核參數(shù)禁止OOM機(jī)制
- # sysctl -w vm.panic_on_oom=1
- vm.panic_on_oom = 1 //1表示關(guān)閉，默認(rèn)為0表示開啟OOM
- # sysctl -p
注意事項(xiàng)
注意：
- Kernel-2.6.26之前版本的 oomkiller 算法不夠精確，RHEL 6.x 版本的 2.6.32 可以解決這個(gè)問(wèn)題。
- 子進(jìn)程會(huì)繼承父進(jìn)程的 oom_adj。
- OOM 不適合于解決內(nèi)存泄漏(Memory leak)的問(wèn)題。
- 有時(shí) free 查看還有充足的內(nèi)存，但還是會(huì)觸發(fā) OOM，是因?yàn)樵撨M(jìn)程可能占用了特殊的內(nèi)存地址空間。
OOM killer 是保證系統(tǒng)內(nèi)存不被個(gè)別進(jìn)程消耗殆盡非常實(shí)用的機(jī)制，但是在實(shí)際工作除了進(jìn)程運(yùn)行過(guò)多會(huì)造成內(nèi)存占用過(guò)高，還有很多其他的因素比如：訪問(wèn)增多、遭受攻擊等...
這時(shí)我們不僅要使用好 OOM killer，更需要關(guān)注服務(wù)器的資源使用情況，需要完善的實(shí)時(shí)監(jiān)控體系，能夠?qū)τ谙到y(tǒng)存在問(wèn)題能夠及時(shí)的發(fā)現(xiàn)并處理，保證業(yè)務(wù)穩(wěn)定運(yùn)行。
