當(dāng)我們的項(xiàng)目變得越來越大時(shí)，高效管理計(jì)算資源是一個(gè)不可避免的要求。不幸的是，與低級(jí)語言如C或C++相比，Python在內(nèi)存效率方面似乎不夠。那么，現(xiàn)在應(yīng)該更改編程語言嗎？

當(dāng)然不是。事實(shí)上，有許多方法可以顯著優(yōu)化Python程序的內(nèi)存使用，從優(yōu)秀的模塊和工具到先進(jìn)的數(shù)據(jù)結(jié)構(gòu)和算法。本文將聚焦于Python的內(nèi)置機(jī)制，并介紹7個(gè)原始但有效的內(nèi)存優(yōu)化技巧。掌握這些技巧將顯著提高我們的Python編程技能。

1. 在類定義中使用__slots__

Python作為一種動(dòng)態(tài)類型語言，在面向?qū)ο缶幊谭矫娓屿`活。一個(gè)很好的例子是在運(yùn)行時(shí)向Python類中添加額外的屬性和方法的能力。例如，下面的代碼定義了一個(gè)名為Author的類。最初它有兩個(gè)屬性name和age。但是我們可以很容易地在后來添加一個(gè)額外的屬性：

class Author:
    def __init__(self, name, age):
        self.name = name
        self.age = age

me = Author('Yang Zhou', 30)
me.job = 'Software Engineer'
print(me.job)

然而，每個(gè)硬幣都有兩面。這種靈活性在底層浪費(fèi)了更多的內(nèi)存。因?yàn)镻ython類的每個(gè)實(shí)例都維護(hù)一個(gè)特殊的字典（__dict__）來存儲(chǔ)實(shí)例變量。這個(gè)字典由于其基于哈希表的實(shí)現(xiàn)方式而固有地內(nèi)存效率低下，占用大量?jī)?nèi)存。

在大多數(shù)情況下，我們不需要在運(yùn)行時(shí)更改實(shí)例的變量或方法，而且在類定義之后__dict__將不會(huì)改變。因此，如果我們能避免維護(hù)__dict__字典，那就更好了。Python為此提供了一個(gè)神奇的屬性：slots。它通過指定類的所有有效屬性的名稱來充當(dāng)白名單：

class Author:
    __slots__ = ('name', 'age')
    def __init__(self, name, age):
        self.name = name
        self.age = age
me = Author('Yang Zhou', 30)
me.job = 'Software Engineer'
print(me.job)
#AttributeError: 'Author' object has no attribute 'job'

如上所示，我們不能再在運(yùn)行時(shí)添加job屬性。因?yàn)開_slots__白名單只定義了兩個(gè)有效屬性name和age。從理論上講，由于屬性現(xiàn)在是固定的，Python不需要為其維護(hù)一個(gè)字典。它只需為__slots__中定義的屬性分配必要的內(nèi)存空間。

讓我們編寫一個(gè)簡(jiǎn)單的比較程序，看看它是否確實(shí)起作用：

import sys


class Author:
    def __init__(self, name, age):
        self.name = name
        self.age = age


class AuthorWithSlots:
    __slots__ = ['name', 'age']

    def __init__(self, name, age):
        self.name = name
        self.age = age


# Creating instances
me = Author('Yang', 30)
me_with_slots = AuthorWithSlots('Yang', 30)

# Comparing memory usage
memory_without_slots = sys.getsizeof(me) + sys.getsizeof(me.__dict__)
memory_with_slots = sys.getsizeof(me_with_slots)  # __slots__ classes don't have __dict__

print(memory_without_slots, memory_with_slots)
# 152 48
print(me.__dict__)
# {'name': 'Yang', 'age': 30}
print(me_with_slots.__dict__)
# AttributeError: 'AuthorWithSlots' object has no attribute '__dict__'

正如上面的代碼所演示的，由于使用了__slots__，me_with_slots實(shí)例不具有__dict__字典。與必須保留額外字典的me實(shí)例相比，這有效地節(jié)省了內(nèi)存資源。

2. 使用生成器

生成器是Python中的惰性求值版本的列表。它們就像元素生成工廠：僅在調(diào)用next()方法時(shí)生成一個(gè)項(xiàng)目，而不是一次計(jì)算所有項(xiàng)目。因此，當(dāng)處理大型數(shù)據(jù)集時(shí)，它們非常內(nèi)存高效。

def number_generator():
    for i in range(100):
        yield i

numbers = number_generator()
print(numbers)

print(next(numbers))
#0
print(next(numbers))
#1

上面的代碼展示了編寫和使用生成器的基本示例。關(guān)鍵字yield是生成器定義的核心。應(yīng)用它意味著只有在調(diào)用next()方法時(shí)才會(huì)產(chǎn)生項(xiàng)目i。現(xiàn)在，讓我們比較一下生成器和列表，看看哪個(gè)更內(nèi)存高效：

import sys


numbers = []
for i in range(100):
    numbers.append(i)

def number_generator():
    for i in range(100):
        yield i

numbers_generator = number_generator()
print(sys.getsizeof(numbers_generator))
#112
print(sys.getsizeof(numbers))
#920

上述程序的結(jié)果證明了使用生成器可以顯著節(jié)省內(nèi)存使用。順便說一下，如果我們將列表推導(dǎo)式的方括號(hào)改成括號(hào)，它將變成生成器表達(dá)式。這是在Python中定義生成器的更簡(jiǎn)便的方法：

import sys
numbers = [i for i in range(100)]
numbers_generator = (i for i in range(100))
print(sys.getsizeof(numbers_generator))
#112
print(sys.getsizeof(numbers))
#920

3. 利用內(nèi)存映射文件支持大文件處理

內(nèi)存映射文件I/O，簡(jiǎn)稱“mmap”，是一種操作系統(tǒng)級(jí)別的優(yōu)化。

它實(shí)現(xiàn)了需求分頁(yè)，因?yàn)槲募?nèi)容并不立即從磁盤讀取，并且最初根本不使用物理RAM。實(shí)際從磁盤讀取是在特定位置被訪問時(shí)以懶惰的方式執(zhí)行的。

—— 維基百科

簡(jiǎn)單來說，當(dāng)使用mmap技術(shù)內(nèi)存映射文件時(shí)，它在當(dāng)前進(jìn)程的虛擬內(nèi)存空間中直接創(chuàng)建文件的映射，而不是將整個(gè)文件加載到內(nèi)存中。映射而不是加載整個(gè)文件可以節(jié)省大量?jī)?nèi)存。

聽起來很復(fù)雜？幸運(yùn)的是，Python已經(jīng)提供了一個(gè)用于使用這種技術(shù)的內(nèi)置模塊，因此我們可以輕松利用它，而不必考慮操作系統(tǒng)級(jí)別的實(shí)現(xiàn)。例如，這是在Python中使用mmap進(jìn)行文件處理的方法：

import mmap


with open('test.txt', "r+b") as f:
    # memory-map the file, size 0 means whole file
    with mmap.mmap(f.fileno(), 0) as mm:
        # read content via standard file methods
        print(mm.read())
        # read content via slice notation
        snippet = mm[0:10]
        print(snippet.decode('utf-8'))

如上所演示的，Python使得內(nèi)存映射文件I/O技術(shù)的使用變得方便。我們所需要做的就是簡(jiǎn)單地應(yīng)用`mmap.mmap()`方法，然后使用標(biāo)準(zhǔn)文件方法或甚至切片表示法處理打開的對(duì)象。

4. 減少全局變量的使用

全局變量在程序運(yùn)行期間始終駐留在內(nèi)存中，因?yàn)樗鼈兙哂腥址秶Ｒ虼耍绻粋€(gè)全局變量保存一個(gè)大型數(shù)據(jù)結(jié)構(gòu)，它將在整個(gè)程序生命周期中占用內(nèi)存，可能導(dǎo)致內(nèi)存使用效率低下。我們應(yīng)該在Python代碼中盡量減少全局變量的使用。

5. 利用邏輯運(yùn)算符的短路求值

這個(gè)技巧似乎微妙，但巧妙地使用它將極大地節(jié)省程序的內(nèi)存使用。例如，下面是一個(gè)簡(jiǎn)單的代碼片段，根據(jù)兩個(gè)函數(shù)返回的布爾值得到最終結(jié)果：

result_a = expensive_function_a()
result_b = expensive_function_b()
result = result_a if result_a else result_b

上面的代碼能夠工作，但實(shí)際上執(zhí)行了兩個(gè)內(nèi)存效率低下的函數(shù)。獲取相同結(jié)果的更聰明的方法如下：

result = expensive_function1() or expensive_function2()

由于邏輯運(yùn)算符遵循短路求值規(guī)則，上述代碼中的`expensive_function2()`將不會(huì)在`expensive_function1()`為True時(shí)執(zhí)行。這將節(jié)省不必要的內(nèi)存使用。

6. 謹(jǐn)慎選擇數(shù)據(jù)類型

一位經(jīng)驗(yàn)豐富的Python開發(fā)者會(huì)仔細(xì)而準(zhǔn)確地選擇數(shù)據(jù)類型。因?yàn)樵谀承﹫?chǎng)景中，使用一個(gè)數(shù)據(jù)類型比另一個(gè)更節(jié)省內(nèi)存。

元組比列表更節(jié)省內(nèi)存

由于元組是不可變的（在創(chuàng)建后不能更改），它允許Python在內(nèi)存分配方面進(jìn)行優(yōu)化。然而，列表是可變的，因此需要額外的空間來容納潛在的修改。

import sys
my_tuple = (1, 2, 3, 4, 5)
my_list = [1, 2, 3, 4, 5]
print(sys.getsizeof(my_tuple))
#80
print(sys.getsizeof(my_list))
#120

如上面的片段所示，即使它們包含相同的元素，元組`my_tuple`使用的內(nèi)存比列表更少。因此，如果在創(chuàng)建后不需要更改數(shù)據(jù)，我們應(yīng)該更喜歡使用元組而不是列表。

(1) 數(shù)組比列表更節(jié)省內(nèi)存

Python中的數(shù)組要求元素是相同的數(shù)據(jù)類型（例如，全部整數(shù)或全部浮點(diǎn)數(shù)），但列表可以存儲(chǔ)不同類型的對(duì)象，這必然需要更多的內(nèi)存。因此，如果列表的元素都是相同類型，使用數(shù)組會(huì)更節(jié)省內(nèi)存：

import sys
import array
my_list = [i for i in range(1000)]
my_array = array.array('i', [i for i in range(1000)])
print(sys.getsizeof(my_list))
#8856
print(sys.getsizeof(my_array))
#4064

(2) 優(yōu)秀的數(shù)據(jù)科學(xué)模塊比內(nèi)置數(shù)據(jù)類型更高效

Python是數(shù)據(jù)科學(xué)的主導(dǎo)語言。有許多強(qiáng)大的第三方模塊和工具提供了更多的數(shù)據(jù)類型，例如NumPy和Pandas。如果我們只需要一個(gè)簡(jiǎn)單的一維數(shù)字?jǐn)?shù)組，并且不需要NumPy提供的廣泛功能，那么Python內(nèi)置的數(shù)組可能是一個(gè)不錯(cuò)的選擇。

但是，當(dāng)涉及到復(fù)雜的矩陣操作時(shí)，對(duì)于所有數(shù)據(jù)科學(xué)家來說，使用NumPy提供的數(shù)組是第一選擇，可能是最好的選擇。

7. 對(duì)相同的字符串應(yīng)用字符串駐留技術(shù)

下面的代碼可能會(huì)使許多開發(fā)者感到困惑：

>>> a = 'Y'*4096
>>> b = 'Y'*4096
>>> a is b
True
>>> c = 'Y'*4097
>>> d = 'Y'*4097
>>> c is d
False

正如我們所知，`is`運(yùn)算符用于檢查兩個(gè)變量是否引用內(nèi)存中的同一對(duì)象。它與`==`運(yùn)算符不同，后者用于比較兩個(gè)對(duì)象是否具有相同的值。那么為什么`a is b`返回True，而`c is d`返回False呢？

這里有Python中的一個(gè)隱秘技巧 —— 字符串駐留技術(shù)。如果有幾個(gè)值相同的小型字符串，它們將由Python隱式地進(jìn)行駐留，并引用內(nèi)存中的同一對(duì)象。定義小型字符串的神奇數(shù)字是4096。由于`c`和`d`的長(zhǎng)度都是4097，它們是內(nèi)存中的兩個(gè)對(duì)象而不是一個(gè)。不再有隱式的字符串駐留。因此，在執(zhí)行`c is d`時(shí)得到False。

字符串駐留是一種優(yōu)化內(nèi)存使用的強(qiáng)大技術(shù)。如果我們想要顯式地進(jìn)行駐留，sys.intern()方法就派上用場(chǎng)了：

>>> import sys
>>> c = sys.intern('Y'*4097)
>>> d = sys.intern('Y'*4097)
>>> c is d
True

順便說一下，除了字符串駐留，Python還對(duì)小整數(shù)應(yīng)用駐留技巧。我們也可以利用它進(jìn)行內(nèi)存優(yōu)化。