妙手回春：內(nèi)存泄漏診斷案例分析

作者：fasionchan 2021-06-03 21:13:03

雖然 Python 自帶垃圾回收機(jī)制，替開(kāi)發(fā)人員管理內(nèi)存，并不意味著 Python 程序沒(méi)有內(nèi)存泄露之虞。實(shí)際上，Python 程序內(nèi)存泄露問(wèn)題時(shí)有發(fā)生——程序跑著跑著，占用內(nèi)存越來(lái)越多，最后只能動(dòng)用重啟大法釋放內(nèi)存……

[[403536]]

本文轉(zhuǎn)載自微信公眾號(hào)「小菜學(xué)編程」，作者fasionchan。轉(zhuǎn)載本文請(qǐng)聯(lián)系小菜學(xué)編程公眾號(hào)。

由于內(nèi)存分配回收工作已被 Python 接管，內(nèi)存泄露問(wèn)題排查起來(lái)相對(duì)來(lái)說(shuō)也比較晦澀。正常情況下，引用計(jì)數(shù) 機(jī)制確保對(duì)象沒(méi)有引用時(shí)釋放，而標(biāo)記清除則解決了循環(huán)引用的問(wèn)題，理論上不存在內(nèi)存泄露的可能性。

那么，Python 程序內(nèi)存泄露問(wèn)題一般是如何造成的呢?程序員的失誤是其中的主要原因，最常見(jiàn)的是下面兩點(diǎn)：

容器泄露，使用容器對(duì)象存儲(chǔ)數(shù)據(jù)，但數(shù)據(jù)只進(jìn)不出，沒(méi)有清理機(jī)制，容器便慢慢變大，最后撐爆內(nèi)存;
__del__ 魔術(shù)方法誤用，如果對(duì)象實(shí)現(xiàn)了 __del__ 魔術(shù)方法，Python 就無(wú)法用標(biāo)記清除法解決循環(huán)引用問(wèn)題，這必然帶來(lái)內(nèi)存泄露風(fēng)險(xiǎn);

既然內(nèi)存泄露無(wú)法完全避免，當(dāng) Python 程序發(fā)生內(nèi)存泄漏時(shí)，又該如何排查呢?

本節(jié)，我們將以一個(gè)簡(jiǎn)單的案例，詳細(xì)講解預(yù)防、排查、解決 Python 內(nèi)存泄露問(wèn)題的方法論。

工欲善其事，必先利其器。在這個(gè)過(guò)程中，我們將利用一些趁手的工具(例如 objgraph 等)。只有選擇正確工具，掌握工具正確使用姿勢(shì)，才能做到事半功倍。

問(wèn)題服務(wù)

我們以一個(gè)存在內(nèi)存泄露問(wèn)題的 API 服務(wù)( service.py )作為例子，演示定位內(nèi)存泄露問(wèn)題的步驟：

import uvicorn 
 
from fastapi import FastAPI 
from faker import Faker 
 
from pyconsole import start_console_server 
 
faker = Faker() 
cache = {} 
 
app = FastAPI() 
 
async def fetch_user_from_database(user_id): 
    return { 
        'user_id': faker.sha256() if user_id == 'random' else user_id, 
        'name': faker.name(), 
        'email': faker.email(), 
        'address': faker.address(), 
        'desc': faker.text(), 
    } 
 
async def get_user(user_id): 
    data = cache.get(user_id) 
    if data is not None: 
        return data 
 
    data = await fetch_user_from_database(user_id) 
    cache[data['user_id']] = data 
 
    return data 
 
@app.get('/users/{user_id}') 
async def retrieve_user(user_id): 
    return await get_user(user_id) 
 
if __name__ == '__main__': 
    start_console_server() 
    uvicorn.run(app)

這是一個(gè)基于 fastapi 框架編寫(xiě)的 API 服務(wù)，它只實(shí)現(xiàn)了一個(gè)接口：根據(jù)用戶 ID 獲取用戶信息。API 服務(wù)由 uvicorn 啟動(dòng)，它是一個(gè)性能非常優(yōu)秀的 ASGI 服務(wù)器。

為減少數(shù)據(jù)庫(kù)訪問(wèn)頻率，程序?qū)?shù)據(jù)庫(kù)返回的用戶數(shù)據(jù)，以用戶 ID 為索引，緩存在內(nèi)存中( cache 字典)。注意到，演示服務(wù)直接使用 faker 隨機(jī)生成用戶數(shù)據(jù)，模擬數(shù)據(jù)庫(kù)查詢，以此消除數(shù)據(jù)庫(kù)依賴。

順便提一下，faker 是一個(gè)生成假數(shù)據(jù)的模塊，非常好用。特別是需要測(cè)試數(shù)據(jù)時(shí)，完全不用自己絞盡腦汁拼造。

服務(wù)還啟動(dòng)了一個(gè)遠(yuǎn)程交互式終端，以便我們可以連上服務(wù)進(jìn)程，并在里面執(zhí)行一些代碼。交互式終端的源碼可以在 github 上獲得：pyconsole.py ，原理超過(guò)本節(jié)討論范圍不展開(kāi)介紹。

由于例子代碼非常簡(jiǎn)單，哪里內(nèi)存泄露我們甚至僅憑肉眼便可看出。盡管如此，我們假裝什么都不知道，來(lái)研究解決問(wèn)題的思路：如何觀察程序?如何運(yùn)用工具來(lái)獲取一些關(guān)鍵信息?如何分析各個(gè)線索?如何逐步接近問(wèn)題的根源?

運(yùn)行服務(wù)

由于服務(wù)依賴幾個(gè)第三方包，啟動(dòng)它之前請(qǐng)先用 pip 安裝這些依賴包，并且確保安裝是成功的：

$ pip install uvicorn 
$ pip install fastapi 
$ pip install faker

直接執(zhí)行 service.py 即可啟動(dòng)服務(wù)，默認(rèn)它會(huì)監(jiān)聽(tīng) 8000 端口：

$ python service.py 
INFO:     Started server process [76591] 
INFO:     Waiting for application startup. 
INFO:     Application startup complete. 
INFO:     Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit)

服務(wù)啟動(dòng)后，即可通過(guò) 8000 端口訪問(wèn)用戶信息接口，用戶 ID 可以隨便給：

$ curl http://127.0.0.1:8000/users/bef76936c7d22e98f3d7b4c7e1aeef524da4ec1b48f871926fee43c5ec071a2d 
{"user_id":"bef76936c7d22e98f3d7b4c7e1aeef524da4ec1b48f871926fee43c5ec071a2d","name":"Patricia Johnson","email":"epatton@yahoo.com","address":"837 Jacobs Field\nGregorybury, ND 81050","desc":"Third choice air together expect account war. Seven dog safe significant. Expect exist wrong finish window there raise. Third blue and cover."}

服務(wù)接口還支持隨機(jī)查詢，隨機(jī)返回一個(gè)用戶的信息：

$ curl http://127.0.0.1:8000/users/random 
{"user_id":"d6a55f04bab8ddec83d651bdca77f7215042b792970482213b6da56a119f18a8","name":"Evan Carter","email":"andrea79@garcia.com","address":"109 Miller Lights Apt. 843\nPort Jamie, IN 97570","desc":"Resource green allow him. Build store enough effect alone. Everybody right remember public coach book not.\nConference respond trip girl."}

遠(yuǎn)程終端

我們直接執(zhí)行 pyconsole.py ，以默認(rèn)端口即可連接正在運(yùn)行中的 API 服務(wù)進(jìn)程：

$ python pyconsole.py 
Python 3.8.5 (default, Aug  5 2020, 18:49:57) 
[GCC 5.4.0 20160609] on linux 
Type "help", "copyright", "credits" or "license" for more information. 
(ConsoleClient) 
>>>

pyconsole 用法跟 Python 交互式終端一樣，但代碼執(zhí)行環(huán)境是在被連接的服務(wù)進(jìn)程里面，因此可以看到服務(wù)內(nèi)部的實(shí)時(shí)狀態(tài)。我們先通過(guò) dir 內(nèi)建函數(shù)看看遠(yuǎn)程終端的名字空間都有些啥：

>>> dir() 
['__builtins__', '__doc__', '__name__', 'main', 'sys'] 
>>> main 
<module '__main__' from 'service.py'> 
>>> dir(main) 
['Faker', 'FastAPI', '__annotations__', '__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', 'app', 'cache', 'faker', 'fetch_user_from_database', 'get_user', 'retrieve_user', 'start_console_server', 'uvicorn']

main 就是服務(wù)的 main 模塊，從中還可以找到 service.py 導(dǎo)入的 Faker 、FastAPI 等，它定義的函數(shù) retrieve_user 、get_user 等，還有作為全局變量存在的 cache 字典。甚至，我們還可以看到 cache 當(dāng)前緩存了多少用戶信息：

>>> len(main.cache) 
2

由于我們前面通過(guò) API 獲取了 2 條用戶數(shù)據(jù)，因此 cache 當(dāng)前緩存了 2 條數(shù)據(jù)。當(dāng)我們?cè)俅卧L問(wèn)接口獲取其他用戶數(shù)據(jù)時(shí)，我們會(huì)看到 cache 緩存的用戶數(shù)據(jù)會(huì)慢慢增加：