Python中閉包和自由變量的使用與註意事項

Posted on by

1.定義

在函數內部再定義一個函數，並且這個函數用到瞭外部函數的變量(LEGB)，最後返回新建函數的函數名索引，那麼將這樣的能夠訪問其定義時所在的作用域的函數以及用到的一些變量稱之為閉包。被引用的非全局變量也稱為自由變量 。這個自由變量保存在外部函數的隻讀屬性 __closure__ 中，會與內層函數產生一個綁定關系，也就是自由變量將不會在內存中輕易消失。如下例所示：

# 計算函數被調用的次數
def counter(FIRST=0):
   -----------------__closure__---------------
   |cnt = [FIRST]                            |  # 之所以選列表是因為作用域問題,詳見後文
   |										 |
   |def add_one():                           |
   |    cnt[0] += 1                          |
   |    return cnt[0]                        |
    ------------------------------------------
    return add_one

# 每當外部函數被調用時，都將重新定義內部的函數，而變量 cnt 的值也可能不同
num5 = counter(5)
num10 = counter(10)

print(num5())  # 6
print(num5())  # 7
print(num10())  # 11
print(num10())  # 12

# 如果這個函數僅僅是嵌套函數，那麼它的 __closure__ 應該是 None
print(num5.__closure__)  # (<cell at 0x0163FE30: list object at 0x01514A80>,)
print(num5.__closure__[0].cell_contents)  # 7
print(num10.__closure__[0].cell_contents)  # 12

# 或者通過 __code__.co_freevars 查看函數中是否有自由變量,如果有自由變量,即為閉包
print(num10.__code__.co_freevars)  # ('cnt',)

2.nonlocal 關鍵字

上面代碼中的 cnt 變量是一個列表，可變對象，但如果是不可變對象，如：numer、tuple 等呢？

def counter(FIRST=0):
    cnt = FIRST  # number
    
    def add_one():
        cnt += 1
        return cnt
    return add_one

num5 = counter(5)
print(num5.__closure__)
print(num5.__code__.co_freevars)
print(num5())
----------------------------------------------------------------------------
def counter(FIRST=0):
    cnt = (FIRST,)  # tuple
    
    def add_one():
        cnt[0] += 1
        return cnt[0]
    return add_one

num5 = counter(5)
print(num5.__closure__)
print(num5.__code__.co_freevars)
print(num5())

以上實例輸出結果：

None
()
Traceback (most recent call last):
  File "test.py", line, in <module>
    print(num5())
  File "test.py", line, in add_one
    cnt += 1
UnboundLocalError: local variable 'cnt' referenced before assignment
----------------------------------------------------------------------------
(<cell at 0x0180FE10: tuple object at 0x0173A750>,)
('cnt',)
Traceback (most recent call last):
  File "test.py", line, in <module>
    print(num5())
  File "test.py", line, in add_one
    cnt[0] += 1
TypeError: 'tuple' object does not support item assignment

可以看出，此時 cnt 不再是自由變量，而是變成瞭局部變量，且提示 UnboundLocalError 未綁定局部錯誤。為什麼不是自由變量瞭呢？為什麼列表就沒問題呢？

這是因為 Python 中並沒有要求先聲明一個變量才能使用它，Python 解釋器認為：在函數體內，隻要對一個變量進行賦值操作，那麼這個變量就是局部變量。
Python的模塊代碼執行之前，並不會經過預編譯，模塊內的函數體代碼在運行前會經過預編譯，因此不管變量名的綁定發生在作用域的那個位置，都能被編譯器知道。

而 cnt += 1 相當於 cnt = cnt + 1，對 cnt 進行瞭賦值操作，所以 Python 解釋器認為 cnt 是函數內的局部變量，但是執行的時候，先執行 cnt+1 時發現：
因為先前已經認定 cnt 為局部變量瞭，現在在局部作用域內找不到 cnt 的值，也不會再到外部作用域找瞭，就會報錯。所以說現在 cnt 已經不是自由變量瞭。

那麼 tuple 類型的 cnt 呢？首先 cnt[0] = cnt[0] + 1，雖然有賦值，但是其左邊也是 cnt[0]，cnt 是從外邊作用域索引瞭的。
所以，你看它顯示的結果：此時，cnt 確實也是自由變量的，但是它是不可變對象啊，所以報瞭 TypeError 錯誤。這下列表為什麼行，你應該知道瞭。

或者你使用 nonolocal 關鍵字，這個關鍵字的用法與 global 很像，讓你能夠給外部作用域（非全局作用域）內的變量賦值。它可以使得一個被賦值的局部變量變為自由變量，並且 nonlocal聲明的變量發生變化時，__closure__中存儲的值也會發生變化:

def counter(FIRST=0):
    cnt = FIRST  # number
    
    def add_one():
        nonlocal cnt
        cnt += 1
        return cnt
    return add_one

num5 = counter(5)
print(num5.__closure__)
print(num5.__code__.co_freevars)
print(num5())

(<cell at 0x01BFFE30: int object at 0x53E064D0>,)
('cnt',)
6

nonlocal 和 global

def scope_test():
    spam = "test spam"
    
    def do_nonlocal():
        nonlocal spam
        spam = "nonlocal spam"

    def do_global():
        global spam
        spam = "global spam"

    do_nonlocal()
    print("After nonlocal assignment:", spam)  # nonlocal spam 

    do_global()
    print("After global assignment:", spam)  # nonlocal spam
    
scope_test()
print("In global scope:", spam)  # global spam

After nonlocal assignment: nonlocal spam
After global assignment: nonlocal spam
In global scope: global spam

3.註意事項

lambda 自由參數之坑，特別是和列表解析或for循環結合使用時。lambda para_list : expression == > def (para_list): return expression

#---CASE1
fs = [lambda j:i*j for i in range(3)]
print([f(2) for f in fs])

#---CASE2
fs = map(lambda i:(lambda j: i*j), range(3))
print([f(2) for f in fs])

#---CASE3
fs = [(lambda i:lambda j:i*j)(i) for i in range(3)]
print([f(2) for f in fs])

[4, 4, 4]
[0, 2, 4]
[0, 2, 4]

首先，CASE1 和 CASE3 顯然都是每循環一次，就添加一個 lambda 函數到列表中，不同的是，CASE1 添加的 lambda 函數中的 i 每次並沒有接收 for 循環中 i 的值，它隻是定義的時候指瞭下 i，所以說，CASE1 中的幾個 lambda 函數的 i，是最後調用的時候，也就是 f(2) 時才到外層作用域找它的值的，此時找到的 i 的值就是裡面 for 循環結束時的 i 的值。CASE3 則是一開始定義、添加的時候就給 i 賦好瞭初值。CASE2 則是因為 map 每次迭代的時候都會將一個可迭代對象的元素傳給瞭 i，所以 CASE2 裡面的每個 lambda 函數的 i 也是各有各的值的。

像這種 lambda 的自由參數的問題的話，如果你不是故意這麼做的話，還是轉為默認參數的好：

fs = [lambda x: x+i for i in range(3)]
print([f(2) for f in fs])

fs = [lambda x, i=i: x+i for i in range(3)]
print([f(2) for f in fs])

[4, 4, 4]
[2, 3, 4]

另外，就是列表解析裡面的作用域是一個全新的作用域，和普通的 for 循環則有所不同：

#---CASE4
fs = [lambda j:i*j for i in range(3)]
print([f(2) for f in fs])

i = 4
print([f(2) for f in fs])

#---CASE5
fs = []

for i in range(3):
    fs.append(lambda j:i*j)
print([f(2) for f in fs])

i = 4
print([f(2) for f in fs])

[10, 10, 10]
[10, 10, 10]
[10, 10, 10]
[8, 8, 8]

4.使用場景

  • 裝飾器

  • 惰性求值，比較常見的是在數據庫訪問的時候，可參考 Django 的 queryset 的實現

  • 需要對某個函數的參數提前賦值的情況；當然也可以使用 functools.parial 的偏函數：functools.partial(func, *args, **kw)，返回一個 partial 函數對象。

# y = a*x + b, a 和 b 可能隻出現一次, x 會出現多次
def line(a, b, x):
    return a*x + b

print(line(3, 4, 5))
print(line(3, 4, 6))
print(line(7, 4, 5))
print(line(7, 4, 6))

# 2.使用閉包
def line(a, b):
    def value(x):
        return a*x + b
    return value

# y = 3x + 4
line1 = line(3, 4)
print(line1(5))
print(line1(6))
print(line1(7))

# y = 9x + 7
line2 = line(9, 7)
print(line2(5))
print(line2(6))
print(line2(7))

# 3.使用 functools.partial 偏函數
from functools import partial

line3 = partial(line, 3)
print(line3)  # functools.partial(<function line at 0x011237C8>, 3)
print(line3(4, 5))

line4 = partial(line, 3, 4)
print(line4(5))
print(line4(6))
print(line4(7))

line5 = partial(line, 9, 7)
print(line5(5))
print(line5(6))
print(line5(7))

簡單總結functools.partial的作用就是：其能把一個函數的某些參數給固定住（也就是設置默認值），並返回一個新的函數，調用這個新函數會更簡單。

總結

到此這篇關於Python中閉包和自由變量的文章就介紹到這瞭,更多相關Python閉包和自由變量內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：