詳解Python requests模塊
前言
雖然Python的標準庫中 urllib2 模塊已經包含瞭平常我們使用的大多數功能,但是它的 API 使用起來讓人感覺不太好,而 Requests 自稱 “HTTP for Humans”,說明使用更簡潔方便。
Requests 繼承瞭urllib2的所有特性。Requests支持HTTP連接保持和連接池,支持使用cookie保持會話,支持文件上傳,支持自動確定響應內容的編碼,支持國際化的 URL 和 POST 數據自動編碼。
開源地址:https://github.com/kennethreitz/requests
中文文檔 API: http://docs.python-requests.org/zh_CN/latest/index.html
一、GET請求
1.1 最基本的GET請求
# 寫法一: response = requests.get("http://www.baidu.com/") # 寫法二: # response = requests.request("get", http://www.baidu.com/)
1.2 添加headers和查詢參數
如果想添加 headers,可以傳入headers參數來增加請求頭中的headers信息。如果要將參數放在url中傳遞,可以利用 params 參數。
import requests kw = {'wd':'長城'} headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"} # params 接收一個字典或者字符串的查詢參數,字典類型自動轉換為url編碼,不需要urlencode() response = requests.get("http://www.baidu.com/s?", params = kw, headers = headers)
#查看響應內容,response.text 返回的是Unicode格式的數據 print response.text #<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer> .....
# 查看響應內容,response.content返回的字節流數據 print respones.content
# 查看完整url地址 print response.url # http://www.baidu.com/?wd=%E9%95%BF%E5%9F%8E
# 查看響應頭部字符編碼 print response.encoding # ISO-8859-1
# 查看響應碼 print response.status_code # 200
二、POST請求
2.1 最基本的POST請求
response = requests.post("http://www.baidu.com/", data = data)
2.2 傳入data數據
對於 POST 請求來說,我們一般需要為它增加一些參數。那麼最基本的傳參方法可以利用 data 這個參數。
import requests formdata = { "type":"AUTO", "i":"i love python", "doctype":"json", "xmlVersion":"1.8", "keyfrom":"fanyi.web", "ue":"UTF-8", "action":"FY_BY_ENTER", "typoResult":"true" } url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null" headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"} response = requests.post(url, data = formdata, headers = headers)
print response.text # {"type":"EN2ZH_CN","errorCode":0,"elapsedTime":2,"translateResult":[[{"src":"i love python","tgt":"我喜歡python"}]],"smartResult":{"type":1,"entries":["","肆文","高德納"]}}
# 如果是json文件可以直接顯示 print response.json() # {u'errorCode': 0, u'elapsedTime': 0, u'translateResult': [[{u'src': u'i love python', u'tgt': u'\u6211\u559c\u6b22python'}]], u'smartResult': {u'type': 1, u'entries': [u'', u'\u8086\u6587', u'\u9ad8\u5fb7\u7eb3']}, u'type': u'EN2ZH_CN'}
到此這篇關於詳解Python requests模塊的文章就介紹到這瞭,更多相關Python requests模塊內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- python爬蟲之requests庫的使用詳解
- Python爬蟲之requests庫基本介紹
- Python爬蟲學習之requests的使用教程
- python3 requests 各種發送方式詳解
- Python urllib 入門使用詳細教程