Python 中閉包與裝飾器案例詳解

項目github地址:bitcarmanlee easy-algorithm-interview-and-practice

1.Python中一切皆對象

這恐怕是學習Python最有用的一句話。想必你已經知道Python中的list, tuple, dict等內置數據結構,當你執行:

alist = [1, 2, 3]

時,你就創建瞭一個列表對象,並且用alist這個變量引用它:

這裡寫圖片描述

當然你也可以自己定義一個類:

class House(object):
    def __init__(self, area, city):
        self.area = area
        self.city = city

    def sell(self, price):
        [...]  #other code
        return price

然後創建一個類的對象:

house = House(200, 'Shanghai')

OK,你立馬就在上海有瞭一套200平米的房子,它有一些屬性(area, city),和一些方法(init, self):

這裡寫圖片描述

2.函數式第一類對象

和list, tuple, dict以及用House創建的對象一樣,當你定義一個函數時,函數也是對象:

def func(a, b):
    return a+b

這裡寫圖片描述

在全局域,函數對象被函數名引用著,它接收兩個參數a和b,計算這兩個參數的和作為返回值。
所謂第一類對象,意思是可以用標識符給對象命名,並且對象可以被當作數據處理,例如賦值、作為參數傳遞給函數,或者作為返回值return 等

因此,你完全可以用其他變量名引用這個函數對象:

add = func

這裡寫圖片描述

這樣,你就可以像調用func(1, 2)一樣,通過新的引用調用函數瞭:

print func(1, 2)
print add(1, 2)  #the same as func(1, 2)

或者將函數對象作為參數,傳遞給另一個函數:

def caller_func(f):
    return f(1, 2)

if __name__ == "__main__":
    print caller_func(func)

這裡寫圖片描述

可以看到,

1.函數對象func作為參數傳遞給caller_func函數,傳參過程類似於一個賦值操作f=func;

2.於是func函數對象,被caller_func函數作用域中的局部變量f引用,f實際指向瞭函數func;cc

3.當執行return f(1, 2)的時候,相當於執行瞭return func(1, 2);

因此輸出結果為3。

3.函數對象 vs 函數調用

無論是把函數賦值給新的標識符,還是作為參數傳遞給新的函數,針對的都是函數對象本身,而不是函數的調用。
用一個更加簡單,但從外觀上看,更容易產生混淆的例子來說明這個問題。例如定義瞭下面這個函數:

def func():
    return "hello,world"

然後分別執行兩次賦值:

ref1 = func      #將函數對象賦值給ref1
ref2 = func()    #調用函數,將函數的返回值("hello,world"字符串)賦值給ref2

很多初學者會混淆這兩種賦值,通過Python內建的type函數,可以查看一下這兩次賦值的結果:

In [4]: type(ref1)

Out[4]: function

In [5]: type(ref2)

Out[5]: str

可以看到,ref1引用瞭函數對象本身,而ref2則引用瞭函數的返回值。通過內建的callable函數,可以進一步驗證ref1是可調用的,而ref2是不可調用的:

In [9]: callable(ref1)

Out[9]: True

In [10]: callable(ref2)

Out[10]: False

傳參的效果與之類似。

4.閉包&LEGB法則

所謂閉包,就是將組成函數的語句和這些語句的執行環境打包在一起時,得到的對象
聽上去的確有些復雜,還是用一個栗子來幫助理解一下。假設我們在foo.py模塊中做瞭如下定義:

#foo.py
filename = "foo.py"

def call_func(f):
    return f()    #如前面介紹的,f引用一個函數對象,然後調用它

在另一個func.py模塊中,寫下瞭這樣的代碼:

#func.py
import foo      #導入foo.py

filename = "func.py"
def show_filename():
    return "filename: %s" % filename

if __name__ == "__main__":
    print foo.call_func(show_filename)   #註意:實際發生調用的位置,是在foo.call_func函數中

當我們用python func.py命令執行func.py時輸出結果為:

chiyu@chiyu-PC:~$ python func.py 

filename:func.py

很顯然show_filename()函數使用的filename變量的值,是在與它相同環境(func.py模塊)中定義的那個。盡管foo.py模塊中也定義瞭同名的filename變量,而且實際調用show_filename的位置也是在foo.py的call_func內部。
而對於嵌套函數,這一機制則會表現的更加明顯:閉包將會捕捉內層函數執行所需的整個環境:

#enclosed.py
import foo
def wrapper():
    filename = "enclosed.py"
    def show_filename():
        return "filename: %s" % filename
    print foo.call_func(show_filename)    #輸出:filename: enclosed.py

實際上,每一個函數對象,都有一個指向瞭該函數定義時所在全局名稱空間的__globals__屬性:

#show_filename inside wrapper
#show_filename.__globals__

{
'__builtins__': <module '__builtin__' (built-in)>,        #內建作用域環境
'__file__': 'enclosed.py',         
'wrapper': <function wrapper at 0x7f84768b6578>,      #直接外圍環境
'__package__': None,            
'__name__': '__main__',        
'foo': <module 'foo' from '/home/chiyu/foo.pyc'>,         #全局環境
'__doc__': None                   
}

當代碼執行到show_filename中的return “filename: %s” % filename語句時,解析器按照下面的順序查找filename變量:
1.Local – 本地函數(show_filename)內部,通過任何方式賦值的,而且沒有被global關鍵字聲明為全局變量的filename變量;
2.Enclosing – 直接外圍空間(上層函數wrapper)的本地作用域,查找filename變量(如果有多層嵌套,則由內而外逐層查找,直至最外層的函數);
3.Global – 全局空間(模塊enclosed.py),在模塊頂層賦值的filename變量;
4.Builtin – 內置模塊(builtin)中預定義的變量名中查找filename變量;

在任何一層先找到瞭符合要求的filename變量,則不再向更外層查找。如果直到Builtin層仍然沒有找到符合要求的變量,則拋出NameError異常。這就是變量名解析的:LEGB法則。

總結:

1.閉包最重要的使用價值在於:封存函數執行的上下文環境;
2.閉包在其捕捉的執行環境(def語句塊所在上下文)中,也遵循LEGB規則逐層查找,直至找到符合要求的變量,或者拋出異常。

5.裝飾器&語法糖(syntax sugar)

那麼閉包和裝飾器又有什麼關系呢?
上文提到閉包的重要特性:封存上下文,這一特性可以巧妙的被用於現有函數的包裝,從而為現有函數更加功能。而這就是裝飾器。
還是舉個例子,代碼如下:

#alist = [1, 2, 3, ..., 100]  --> 1+2+3+...+100 = 5050
def lazy_sum():
    return reduce(lambda x, y: x+y, alist)

我們定義瞭一個函數lazy_sum,作用是對alist中的所有元素求和後返回。alist假設為1到100的整數列表:

alist = range(1, 101)

但是出於某種原因,我並不想馬上返回計算結果,而是在之後的某個地方,通過顯示的調用輸出結果。於是我用一個wrapper函數對其進行包裝:

def wrapper():
    alist = range(1, 101)
    def lazy_sum():
        return reduce(lambda x, y: x+y, alist)
    return lazy_sum

lazy_sum = wrapper()        #wrapper() 返回的是lazy_sum函數對象

if __name__  == "__main__":
    lazy_sum()           #5050

這是一個典型的Lazy Evaluation的例子。我們知道,一般情況下,局部變量在函數返回時,就會被垃圾回收器回收,而不能再被使用。但是這裡的alist卻沒有,它隨著lazy_sum函數對象的返回被一並返回瞭(這個說法不準確,實際是包含在瞭lazy_sum的執行環境中,通過__globals__),從而延長瞭生命周期。

當在if語句塊中調用lazy_sum()的時候,解析器會從上下文中(這裡是Enclosing層的wrapper函數的局部作用域中)找到alist列表,計算結果,返回5050。

當你需要動態的給已定義的函數增加功能時,比如:參數檢查,類似的原理就變得很有用:

def add(a, b):
    return a+b

這是很簡單的一個函數:計算a+b的和返回,但我們知道Python是 動態類型+強類型 的語言,你並不能保證用戶傳入的參數a和b一定是兩個整型,他有可能傳入瞭一個整型和一個字符串類型的值:

In [2]: add(1, 2)

Out[2]: 3

In [3]: add(1.2, 3.45)

Out[3]: 4.65

In [4]: add(5, ‘hello’)

—————————————————————————

TypeError                                 Traceback (most recent call last)

/home/chiyu/<ipython-input-4-f2f9e8aa5eae> in <module>()

—-> 1 add(5, ‘hello’)

/home/chiyu/<ipython-input-1-02b3d3d6caec> in add(a, b)

      1 def add(a, b):

—-> 2     return a+b

TypeError: unsupported operand type(s) for +: ‘int’ and ‘str’

於是,解析器無情的拋出瞭一個TypeError異常。

1.動態類型:在運行期間確定變量的類型,python確定一個變量的類型是在你第一次給他賦值的時候;

2.強類型:有強制的類型定義,你有一個整數,除非顯示的類型轉換,否則絕不能將它當作一個字符串(例如直接嘗試將一個整型和一個字符串做+運算);

因此,為瞭更加優雅的使用add函數,我們需要在執行+運算前,對a和b進行參數檢查。這時候裝飾器就顯得非常有用:

import logging

logging.basicConfig(level = logging.INFO)

def add(a, b):
    return a + b

def checkParams(fn):
    def wrapper(a, b):
        if isinstance(a, (int, float)) and isinstance(b, (int, float)):    #檢查參數a和b是否都為整型或浮點型
            return fn(a, b)             #是則調用fn(a, b)返回計算結果

        #否則通過logging記錄錯誤信息,並友好退出
        logging.warning("variable 'a' and 'b' cannot be added")   
        return
    return wrapper     #fn引用add,被封存在閉包的執行環境中返回

if __name__ == "__main__":
    #將add函數對象傳入,fn指向add
    #等號左側的add,指向checkParams的返回值wrapper
    add = checkParams(add)      
    add(3, 'hello')     #經過類型檢查,不會計算結果,而是記錄日志並退出

註意checkParams函數:

1.首先看參數fn,當我們調用checkParams(add)的時候,它將成為函數對象add的一個本地(Local)引用;

2.在checkParams內部,我們定義瞭一個wrapper函數,添加瞭參數類型檢查的功能,然後調用瞭fn(a, b),根據LEGB法則,解釋器將搜索幾個作用域,並最終在(Enclosing層)checkParams函數的本地作用域中找到fn;

3.註意最後的return wrapper,這將創建一個閉包,fn變量(add函數對象的一個引用)將會封存在閉包的執行環境中,不會隨著checkParams的返回而被回收;

當調用add = checkParams(add)時,add指向瞭新的wrapper對象,它添加瞭參數檢查和記錄日志的功能,同時又能夠通過封存的fn,繼續調用原始的add進行+運算。

因此調用add(3, ‘hello’)將不會返回計算結果,而是打印出日志:

chiyu@chiyu-PC:~$ python func.py 

WARNING:root:variable ‘a’ and ‘b’ cannot be added

有人覺得add = checkParams(add)這樣的寫法未免太過麻煩,於是python提供瞭一種更優雅的寫法,被稱為語法糖:

@checkParams
def add(a, b):
    return a + b

這隻是一種寫法上的優化,解釋器仍然會將它轉化為add = checkParams(add)來執行。

##6. 回歸問題

def addspam(fn):
    def new(*args):
        print "spam,spam,spam"
        return fn(*args)
    return new

@addspam
def useful(a,b):
    print a**2+b**2

首先看第二段代碼:

@addspam裝飾器,相當於執行瞭useful = addspam(useful)。在這裡題主有一個理解誤區:傳遞給addspam的參數,是useful這個函數對象本身,而不是它的一個調用結果;
再回到addspam函數體:
1.return new 返回一個閉包,fn被封存在閉包的執行環境中,不會隨著addspam函數的返回被回收;
2.而fn此時是useful的一個引用,當執行return fn(*args)時,實際相當於執行瞭return useful(*args);

本文根據https://www.zhihu.com/question/25950466/answer/31731502整理而來,是我見過的將閉包與裝飾器解釋得比較清楚的文章。

參考鏈接:

1.https://www.zhihu.com/question/26930016
2.https://www.zhihu.com/question/24084277
3.https://wiki.python.org/moin/PythonDecoratorLibrary 各種裝飾器的實例代碼

到此這篇關於Python 中閉包與裝飾器案例詳解的文章就介紹到這瞭,更多相關Python 中閉包與裝飾器內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!

推薦閱讀: