作者｜盧佳瑜，單位：中移物聯網有限公司

Labs 導讀

云原生時代，應用對硬件資源的需求增長巨大，但單核CPU性能的提升存在瓶頸，摩爾定律已經失效。性能的提升更多側重于使用多核并發，而不是依賴單核性能。

俗話說再強的個人也敵不過訓練有素的團隊，便是這個道理。

但即便是對多核的利用，也分為多進程、多線程等不同的方案， 我們經常會聽到老手說：“python下多線程是雞肋，推薦使用多進程！”

為什么這么說呢？

要知其然，更要知其所以然。所以有了下面的深入研究。

Part 01 概述 

目前算力網絡發展中，經常出現并行計算的需求，而在python中，如果你使用多線程進行并行，那么就會面臨一個尷尬的問題：一核干活，其它圍觀。為什么會出現這樣一個尷尬的問題呢？是因為python中GIL鎖的存在。

GIL是什么？

GIL的全稱是Global Interpreter Lock(全局解釋器鎖)，來源是python設計之初的考慮，為了數據安全所做的決定，每個進程單獨擁有一把GIL鎖。

進程是什么？

進程是程序的一次執行過程，是一個動態概念，是程序在執行過程中分配和管理資源的基本單位，

線程是什么？

線程是CPU調度和分派的基本單位，它可與同屬一個進程的其他的線程共享進程所擁有的全部資源。

進程與線程的關系？

線程是進程的一部分，一個線程只能屬于一個進程，而一個進程可以有多個線程，但至少有一個線程。

為什么用多進程和多線程？

現代CPU通常是多核CPU，如果業務代碼是單進程/單線程，那么在運行時實際上就只能使用一個CPU核心，其他核心只能浪費，為了提升代碼運行效率，我們使用多進程or多線程，對多個CPU核心進行充分利用，以提升代碼執行效率。

Part 02  執行原理

每個CPU核心在同一時間只能執行一個線程（在單核CPU下的多線程其實都只是并發，不是并行，并發和并行從宏觀上來講都是同時處理多路請求的概念。但并發和并行又有區別，并行是指兩個或者多個事件在同一時刻發生；而并發是指兩個或多個事件在同一時間間隔內發生。）

在Python多線程下，每個線程的執行方式：

• 獲取GIL
• 執行代碼直到sleep或者是python虛擬機將其掛起。
• 釋放GIL

可見，某個線程想要執行，必須先拿到GIL，我們可以把GIL看作是“通行證”，并且在一個python進程中，GIL只有一個。拿不到通行證的線程，就不允許進入CPU執行。

在python2.x里，GIL的釋放邏輯是當前線程遇見IO操作或者ticks計數達到100（ticks可以看作是python自身的一個計數器，專門做用于GIL，每次釋放后歸零，這個計數可以通過 sys.setcheckinterval 來調整），進行釋放。

而每次釋放GIL鎖，線程進行鎖競爭、切換線程，會消耗資源。并且由于GIL鎖存在，python里一個進程永遠只能同時執行一個線程(拿到GIL的線程才能執行)，這就是為什么在多核CPU上，python的多線程效率并不高。

Part 03  實際場景分析

在實際應用場景中，并不是所有業務都能將CPU跑滿，也就并不是所有業務都需要使用多進程，接下來我們分類進行討論：

1、CPU密集型業務(各種循環處理、計數、數學計算等)，在這種情況下，ticks計數很快就會達到閾值，然后觸發GIL的釋放與再競爭（多個線程來回切換當然是需要消耗資源的），所以python下的多線程對CPU密集型代碼并不友好。

2、IO密集型業務(文件處理、網絡爬蟲等)，多線程能夠有效提升效率（單線程下有IO操作會進行IO等待，造成不必要的時間浪費，而開啟多線程能在線程A等待時，自動切換到線程B，可以不浪費CPU的資源，從而能提升程序執行效率）。所以python的多線程對IO密集型代碼比較友好。

而在python3.x中，GIL不使用ticks計數，改為使用計時器（執行時間達到閾值后，當前線程釋放GIL），這樣對CPU密集型程序更加友好，但依然沒有解決GIL導致的同一時間只能執行一個線程的問題，所以效率依然不盡如人意。

Part 04  總結

回到最開始的問題：經常我們會聽到老手說：“python下想要充分利用多核CPU，就用多進程”，原因是什么呢？

原因是每個進程有各自獨立的GIL，互不干擾，這樣就可以真正意義上的并行執行，所以在python中，多進程的執行效率優于多線程(僅僅針對多核CPU而言)。

所以我們能夠得出結論：多核下，想做并行提升效率，比較通用的方法是使用多進程，能夠有效提高執行效率。?