Python異步爬蟲實現原理與知識總結
一、背景
默認情況下,用get請求時,會出現阻塞,需要很多時間來等待,對於有很多請求url時,速度就很慢。因為需要一個url請求的完成,才能讓下一個url繼續訪問。一種很自然的想法就是用異步機制來提高爬蟲速度。通過構建線程池或者進程池完成異步爬蟲,即使用多線程或者多進程來處理多個請求(在別的進程或者線程阻塞時)。
import time #串形 def getPage(url): print("開始爬取網站",url) time.sleep(2)#阻塞 print("爬取完成!!!",url) urls = ['url1','url2','url3','url4','url5'] beginTime = time.time()#開始計時 for url in urls: getPage(url) endTime= time.time()#結束計時 print("完成時間%d"%(endTime - beginTime))
下面通過模擬爬取網站來完成對多線程,多進程,協程的理解。
二、多線程實現
import time #使用線程池對象 from multiprocessing.dummy import Pool def getPage(url): print("開始爬取網站",url) time.sleep(2)#阻塞 print("爬取完成!!!",url) urls = ['url1','url2','url3','url4','url5'] beginTime = time.time()#開始計時 #準備開啟5個線程,並示例化對象 pool = Pool(5) pool.map(getPage, urls)#urls是可迭代對象,裡面每個參數都會給getPage方法處理 endTime= time.time()#結束計時 print("完成時間%d"%(endTime - beginTime))
完成時間隻需要2s!!!!!!!!
線程池使用原則:適合處理耗時並且阻塞的操作
三、協程實現
單線程+異步協程!!!!!!!!!!強烈推薦,目前流行的方式。
相關概念:
#%% import time #使用協程 import asyncio async def getPage(url): #定義瞭一個協程對象,python中函數也是對象 print("開始爬取網站",url) time.sleep(2)#阻塞 print("爬取完成!!!",url) #async修飾的函數返回的對象 c = getPage(11) #創建事件對象 loop_event = asyncio.get_event_loop() #註冊並啟動looP loop_event.run_until_complete(c) #task對象使用,封裝協程對象c ''' loop_event = asyncio.get_event_loop() task = loop_event.create_task(c) loop_event.run_until_complete(task) ''' #Future對象使用,封裝協程對象c 用法和task差不多 ''' loop_event = asyncio.get_event_loop() task = asyncio.ensure_future(c) loop_event.run_until_complete(task) ''' #綁定回調使用 async def getPage2(url): #定義瞭一個協程對象,python中函數也是對象 print("開始爬取網站",url) time.sleep(2)#阻塞 print("爬取完成!!!",url) return url #async修飾的函數返回的對象 c2 = getPage2(2) def callback_func(task): print(task.result()) #task.result()返回任務對象中封裝的協程對象對應函數的返回值 #綁定回調 loop_event = asyncio.get_event_loop() task = asyncio.ensure_future(c2) task.add_done_callback(callback_func) #真正綁定, loop_event.run_until_complete(task)
輸出:
四、多任務協程實現
import time #使用多任務協程 import asyncio urls = ['url1','url2','url3','url4','url5'] async def getPage(url): #定義瞭一個協程對象,python中函數也是對象 print("開始爬取網站",url) #在異步協程中如果出現同步模塊相關的代碼,那麼無法實現異步 #time.sleep(2)#阻塞 await asyncio.sleep(2)#遇到阻塞操作必須手動掛起 print("爬取完成!!!",url) return url beginTime = time.time() #任務列表,有多個任務 tasks = [] for url in urls: c = getPage(url) task = asyncio.ensure_future(c)#創建任務對象 tasks.append(task) loop = asyncio.get_event_loop() loop.run_until_complete(asyncio.wait(tasks))#不能直接放task,需要封裝進入asyncio,wait()方法中 endTime = time.time() print("完成時間%d"%(endTime - beginTime))
此時不能用time.sleep(2),用瞭還是10秒
對於真正爬取過程中,如在getPage()方法中真正爬取數據時,即requests.get(url) ,它是基於同步方式實現。應該使用異步網絡請求模塊aiohttp
參考下面代碼:
async def getPage(url): #定義瞭一個協程對象,python中函數也是對象 print("開始爬取網站",url) #在異步協程中如果出現同步模塊相關的代碼,那麼無法實現異步 #requests.get(url)#阻塞 async with aiohttp.ClintSession() as session: async with await session.get(url) as response: #手動掛起 page_text = await response.text() #.text()返回字符串,read()返回二進制數據,註意不是content print("爬取完成!!!",url) return page_text
到此這篇關於Python異步爬蟲實現原理與知識總結的文章就介紹到這瞭,更多相關Python異步爬蟲內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- python協程與 asyncio 庫詳情
- Python使用Asyncio進行web編程方法詳解
- python中Task封裝協程的知識點總結
- Python協程asyncio模塊的演變及高級用法
- python進階之協程你瞭解嗎