Python Http發送請求淺析

Posted on by

前言

相信很多人使用Python做接口請求（Http客戶端請求）的時候，很多人肯定用過這幾個：urllib，urllib3，requests.沒錯，反正我常用，而且在我這裡出現最多最靚眼的那個崽是requests, 畢竟普通接口請求，爬蟲常用， 而且封裝起來後使用更為簡單。所以在這篇文章裡面，它是我淺析研究三國鼎立的其中之一。

這篇文章主要淺析這三個：

  • requests
  • aiohttp
  • httpx

淺析requests

在不借助其他第三方庫的情況下，requests 隻能發送同步請求。requests 是一個Python第三方庫，處理URL資源特別方便，而且相對於urllib3來說封裝瞭更多功能，並且使用步驟簡單。

我們深入一下到requests api源碼來看一下： 

 從圖片來看，其實可以大概看出requests支持哪些功能 然後圈紅的其實是最常用的一些功能，也就是可以設置請求方式，請求頭，cookie，過期時間，請求接口驗證，文件上傳等等功能。

整理瞭日常大概常用的方，應該是下面這幾種格式：

# get 請求
requests.get(url, params)

# post 請求
requests.post(url, data)
# 文件上傳
upload_files = {'file': open('report.xls', 'rb')}
requests.post(url, file=upload_files)  
# 設置header
headers = {'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'}
requests.post(url, headers=headers)
# 設置cookie
cookies = {'token': '12345', 'status': '摸魚'}
requests.post(url, cookies=cookies)

如果單純請求一個接口，獲取接口數據的話，上面的完全夠用瞭，不需要額外的操作。

但是requests有時候挺多用在爬蟲場景下，爬蟲有的需要保持登錄信息去爬取其他接口，那麼單純的去使用requests.get 或者 requests.post，這都是一次性的請求，是不太滿足需求的。 對於登錄成功，再去請求其他的接口，可能需要之前生成的cookie或者token，這時候，這些信息就需要進行保存。對於這種情況，可以使用requests.session,它可以自動處理cookies，做狀態保持.

大概的使用步驟應該是這樣子：

# 先實例化一個對象
session = requests.session()
# 給 requests.session() 對象設置cookie信息，這個看情況使用，具體情況具體分析啊
cookies_dict = {}
session.cookies = requests.utils.cookiejar_from_dict(cookies_dict)
# 後面用法和直接使用requests一樣瞭
# get請求
response = session.get(url)
# post請求
response = session.post(url, json=json_data)
result = response.json()
#獲取登陸的所有cookies信息
print(result.cookies.values())

通過上面這些大概步驟，對於信息狀態保持是已經足夠瞭，這時候再用這些保持的信息去爬取接口是沒有多大問題的（按道理啊，經典案例的話可以去模擬爬取一下淘寶PC端，本文具體的就不介紹瞭。）

淺析aiohttp

在不借助其他第三方庫的情況下，aiohttp隻能發送異步請求。

其實，人都是貪心的，在同步請求足夠完成需求後，那麼人就會去從其他方面去提升， 比如同樣的接口，希望能更快的處理返回，減少消耗時間，不希望阻塞。

那麼隨著這種需要，那麼異步請求也就出現瞭。目前支持異步請求的方式有 async/await+asyncio+requests 組合構成，也可以使用aiohttp.aiohttp是一個為Python提供異步HTTP客戶端、服務端編程，基於asyncio的異步庫。aiohttp 同樣是可以設置請求方式，請求頭，cookie，代理，上傳文件等功能的

大概用代碼來表示，應該是常見這些：

# post 請求
payload = {
        "data": "hello world"
    }
async with aiohttp.ClientSession() as session:
	async with session.post(url, json=payload) as resp:
		print(resp.status)
# get請求
# 創建使用session
async with aiohttp.ClientSession() as session:
	async with session.get(url) as resp:
		print(resp.status)
		res = await resp.text()
		return res

# 上傳文件
files = {'file': open('report.xls', 'rb')}
async with aiohttp.ClientSession() as sess:
	async with sess.post(url, data=files) as resp:
		print(resp.status)
		print(await resp.text())

# 設置header, cookie
headers = {'User-Agent': 'your agent'}
cookies= {'cookies_are': '摸魚'}
async with aiohttp.ClientSession(headers=headers, cookies=cookies) as session:
	async with session.get(url) as resp:
		print(resp.status)
		res = await resp.text()
		return res

當然異步的請求，多可以是對接口返回數據在其他地方沒有太強的依賴，異步的作用更多是用於提高效率，節省同步等待時間。

淺析httpx

在不借助其他第三方庫的情況下，httpx既能發送同步請求，又能發送異步請求

httpx是Python新一代的網絡請求庫，它包含以下特點：

  • 1.基於Python3的功能齊全的http請求模塊
  • 2.既能發送同步請求，也能發送異步請求
  • 3.支持HTTP/1.1和HTTP/2
  • 4.能夠直接向WSGI應用程序或者ASGI應用程序發送請求

安裝 httpx需要Python3.6+（使用異步請求需要Python3.8+）

httpx是Python新一代的網絡請求庫, 功能和requests基本都一致，但是requests在沒有第三方庫的支持下隻能發同步請求， 但是httpx不僅可以發同步請求，還可以異步，這個是比requests要好的。因為和requests差不多，那麼requests能支持設置的，那麼httpx也同樣可以支持

基本的使用方法：

data = {
    'name': 'autofelix',
    'age': 25
}

# get請求
httpx.get(url,params=data)
# post請求
httpx.post(url, data=data)

# 設置header,cookie,timeout
headers = {'User-Agent': 'your agent'}
cookies= {'cookies_are': '摸魚'}
httpx.get(url, headers=headers, cookies=cookies, timeout=10.0)

# 使用client發送（同步）請求
with httpx.Client() as client:
   response = client.get(url)

異步操作, 使用async/await語句來進行異步操作，使用異步client比使用多線程發送請求更加高效，更能體現明顯的性能優勢

import asyncio
import httpx

async def main():
    # 異步請求AsyncClient
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        print(response)

if __name__ == '__main__':
    # python3.7+ 支持寫法
    # asyncio.run(main())
    # python3.6及以下版本寫法
    loop = asyncio.get_event_loop()
    result = loop.run_until_complete(asyncio.gather(main()))
    loop.close()

大體看下，同步請求使用httpx.client(), 異步請求使用httpx.AsyncClient(), 然後其他的一些基本用法都大體相似。可以說，如果你對requests熟練，那麼對於aiohttp以及httpx也是很快就能上手理解的。

結語

到此這篇關於Python Http發送請求淺析的文章就介紹到這瞭,更多相關Python Http請求內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：