Python異步爬蟲實現原理與知識總結

一、背景

默認情況下,用get請求時,會出現阻塞,需要很多時間來等待,對於有很多請求url時,速度就很慢。因為需要一個url請求的完成,才能讓下一個url繼續訪問。一種很自然的想法就是用異步機制來提高爬蟲速度。通過構建線程池或者進程池完成異步爬蟲,即使用多線程或者多進程來處理多個請求(在別的進程或者線程阻塞時)。

import time 
#串形
 
def getPage(url):
    print("開始爬取網站",url)
    time.sleep(2)#阻塞
    print("爬取完成!!!",url)
 
 
urls = ['url1','url2','url3','url4','url5']
 
beginTime = time.time()#開始計時
 
for url in urls:
    getPage(url)
 
endTime= time.time()#結束計時
print("完成時間%d"%(endTime - beginTime))

下面通過模擬爬取網站來完成對多線程,多進程,協程的理解。

二、多線程實現

import time 
#使用線程池對象
from multiprocessing.dummy import Pool
 
def getPage(url):
    print("開始爬取網站",url)
    time.sleep(2)#阻塞
    print("爬取完成!!!",url)
 
 
urls = ['url1','url2','url3','url4','url5']
 
beginTime = time.time()#開始計時
 
#準備開啟5個線程,並示例化對象
pool = Pool(5)
pool.map(getPage, urls)#urls是可迭代對象,裡面每個參數都會給getPage方法處理
 
endTime= time.time()#結束計時
print("完成時間%d"%(endTime - beginTime))

完成時間隻需要2s!!!!!!!!

線程池使用原則:適合處理耗時並且阻塞的操作

三、協程實現

單線程+異步協程!!!!!!!!!!強烈推薦,目前流行的方式。

相關概念:

#%%
import time 
#使用協程
import asyncio
 
 
async def getPage(url):  #定義瞭一個協程對象,python中函數也是對象
    print("開始爬取網站",url)
    time.sleep(2)#阻塞
    print("爬取完成!!!",url)
    
#async修飾的函數返回的對象    
c = getPage(11)
 
#創建事件對象
loop_event = asyncio.get_event_loop()
#註冊並啟動looP
loop_event.run_until_complete(c)
 
#task對象使用,封裝協程對象c
'''
loop_event = asyncio.get_event_loop()
task = loop_event.create_task(c)
loop_event.run_until_complete(task)
'''
 
#Future對象使用,封裝協程對象c            用法和task差不多
'''
loop_event = asyncio.get_event_loop()
task       = asyncio.ensure_future(c)
loop_event.run_until_complete(task)
'''
 
#綁定回調使用
 
async def getPage2(url):  #定義瞭一個協程對象,python中函數也是對象
    print("開始爬取網站",url)
    time.sleep(2)#阻塞
    print("爬取完成!!!",url)
    return url
    
#async修飾的函數返回的對象    
c2 = getPage2(2)
 
def callback_func(task):
    print(task.result()) #task.result()返回任務對象中封裝的協程對象對應函數的返回值
 
 
#綁定回調
loop_event = asyncio.get_event_loop()
task       = asyncio.ensure_future(c2)
 
task.add_done_callback(callback_func)  #真正綁定,
loop_event.run_until_complete(task)

輸出:

四、多任務協程實現

import time 
#使用多任務協程
import asyncio
 
 
 
 
urls = ['url1','url2','url3','url4','url5']
 
 
 
async def getPage(url):  #定義瞭一個協程對象,python中函數也是對象
    print("開始爬取網站",url)
    #在異步協程中如果出現同步模塊相關的代碼,那麼無法實現異步
    #time.sleep(2)#阻塞
    await asyncio.sleep(2)#遇到阻塞操作必須手動掛起
    print("爬取完成!!!",url)
    return url
    
 
beginTime = time.time()  
 
 
#任務列表,有多個任務
tasks = []
 
for url in urls:
    c = getPage(url)
    task = asyncio.ensure_future(c)#創建任務對象
    tasks.append(task)
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))#不能直接放task,需要封裝進入asyncio,wait()方法中
 
endTime = time.time()   
print("完成時間%d"%(endTime - beginTime)) 

此時不能用time.sleep(2),用瞭還是10秒

對於真正爬取過程中,如在getPage()方法中真正爬取數據時,即requests.get(url) ,它是基於同步方式實現。應該使用異步網絡請求模塊aiohttp

參考下面代碼:

async def getPage(url):  #定義瞭一個協程對象,python中函數也是對象
    print("開始爬取網站",url)
    #在異步協程中如果出現同步模塊相關的代碼,那麼無法實現異步
    #requests.get(url)#阻塞
    async with aiohttp.ClintSession() as session:
 
                     async with await  session.get(url) as response: #手動掛起
 
                                       page_text =  await response.text() #.text()返回字符串,read()返回二進制數據,註意不是content
    print("爬取完成!!!",url)
    return page_text 

到此這篇關於Python異步爬蟲實現原理與知識總結的文章就介紹到這瞭,更多相關Python異步爬蟲內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!

推薦閱讀: