python urllib.request模塊的使用詳解
python的urllib模塊提供瞭一系列操作url的功能,可以讓我們通過url打開任意資源。其中比較常用的就是request模塊,本篇主要介紹requset模塊。
urllib子模塊
- urllib.request 打開或請求url
- urllib.error 捕獲處理請求時產生的異常
- urllib.parse 解析url
- urllib.robotparser 用於解析robots.txt文件
robots.txt是一種存放於網站根目錄下文本文件,用來告訴網絡爬蟲服務器上的那些文件可以被查看。又被成為robots協議,是一種約定俗成的協議。
request模塊
function request.urlopen()
urlopen方法用來打開資源url,常用帶參數形式urlopen(url,data=None),url:資源url,data:攜帶的數據。
方法的返回值始終為一個對象,並可以調用相應的方法獲取返回的信息。其中對於http及https的url來說會返回一個http.client.HTTPResponse對象;
import urllib.request # 我們用本地的一個簡單html文件來測試 url = 'http://127.0.0.1:8848/chenjy/test.html' req = urllib.request.urlopen(url) print(req)
1. read() 返回服務器返回的原始數據;
import urllib.request url ='http://127.0.0.1:8848/chenjy/test.html' req = urllib.request.urlopen(url) print(req.read())
我們可以再調用decode()方法來解碼。
import urllib.request url = 'http://127.0.0.1:8848/chenjy/test.html' req = urllib.request.urlopen(url) print(req.read().decode())
2.geturl() 返回獲取資源的url;
- 創建一個測試頁
import urllib.request url = 'http://127.0.0.1:8848/chenjy/test.html' req = urllib.request.urlopen(url) print(req.geturl())
- 前端重定向
我們在頁面中添加js腳本重定向頁面window.location.href=’http://127.0.0.1:8848/chenjy/test2.html’;,會發現訪問的時候會重定向到test2,但是geturl還是獲取的重定向前的
- 後端重定向
我們啟動一個項目並添加一個攔截器當訪問index.html的時候重定向到/ls/html/list.html頁面,geturl獲取的是重定向後的頁面
@Override public void handle(String target, HttpServletRequest request, HttpServletResponse response, boolean[] isHandled) { int index = target.lastIndexOf("index.html"); if (index != -1){ HandlerKit.redirect("/ls/html/list.html",request,response,isHandled); } }
import urllib.request url = 'http://localhost:8088/ls/index.html' req = urllib.request.urlopen(url) print(req.geturl())
3.info() 返回頁面的元信息;
import urllib.request url = 'http://127.0.0.1:8848/chenjy/test.html' req = urllib.request.urlopen(url) print(req.info())
4.getcode() 返回頁面的狀態碼;
import urllib.request url = 'http://127.0.0.1:8848/chenjy/test.html' req = urllib.request.urlopen(url) print(req.getcode())
class request.Request
url請求類 Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
- url:請求url
- data:請求傳參;bytes字節流
- headers:請求頭
- origin_req_host:請求原始主機;不帶端口
- unverifiable:是否不可驗證;
- method :請求方法;如GET、POST、PUT等
import urllib.request # 模擬iphone5請求百度手機版頁面 url = 'https://www.baidu.com/' user_agent = 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E304 Safari/602.1' headers = { 'User-Agent': user_agent } # 抓取page信息 req = urllib.request.Request(url, headers=headers,method='GET') page = urllib.request.urlopen(req).read().decode('utf-8') print(page)
以上就是python urllib.request模塊的使用詳解的詳細內容,更多關於python urllib.request模塊的資料請關註WalkonNet其它相關文章!
推薦閱讀:
- python 如何用urllib與服務端交互(發送和接收數據)
- Python技能樹共建之python urllib 模塊
- Python爬蟲之urllib庫詳解
- 關於python爬蟲應用urllib庫作用分析
- Python urllib 入門使用詳細教程