python urllib和urllib3知識點總結

Posted on by

在python數據請求中，我們有一個標準庫專門處理這方面的問題，那就是urllib庫。在不同的python版本中，urllib也有著版本上的變化。本篇就urllib和urllib3這兩種庫為大傢帶來介紹，分析其基本的用法、不同點、使用註意和實例，希望能對大傢在數據請求的學習有所幫助。

1、說明

在可供使用的網絡庫中，urllib和urllib3可能是投入產出比最高的兩個。它們能讓你通過網絡訪問文件，就像這些文件位於你的計算機中一樣。隻需一個簡單的函數調用，就幾乎可將統一資源定位符（URL）可指向的任何動作作為程序的輸入。想想這種功能與模塊 re 結合起來使用都能做什麼吧！你可下載網頁、從中提取信息並自動生成研究報告。

2、不同點

模塊urllib 和 urllib3的功能差不多，但 urllib3 更好一些。對於簡單的下載，urllib 綽綽有餘。如果要實現 HTTP 身份驗證或 Cookie，抑或編寫擴展來處理自己的協議，urllib3 可能是更好的選擇。

3、使用註意

要在沒有聯網的情況下嘗試使用模塊 urllib，可使用以 file: 打頭的 URL 訪問本地文件，如 file:c:\text\somefile.txt（別忘瞭對反斜杠進行轉義）。

4、實例

幾乎可以像打開本地文件一樣打開遠程文件，差別是隻能使用讀取模式，以及使用模塊 urllib.request 中的函數 urlopen，而不是 open（或 file）。

>>> from urllib.request import urlopen
>>> webpage = urlopen('http://www.python.org')

如果連接到瞭網絡，變量 webpage 將包含一個類似於文件的對象，這個對象與網頁 https://www.python.org/ 相關聯

內容擴展：

urllib

它是 Python 內置的 HTTP 請求庫，也就是說我們不需要額外安裝即可使用，基本上涵蓋瞭基礎的網絡請求功能，它包含四個模塊：

  • urllib.request 用於打開和讀取url
  • urllib.error 用於處理前面request引起的異常
  • urllib.parse 用於解析url
  • urllib.robotparser 用於解析robots.txt文件

urllib.request

urllib中，request這個模塊主要負責構造和發起網絡請求，並在其中加入Headers、Proxy等。

利用它可以模擬瀏覽器的一個請求發起過程

到此這篇關於python urllib和urllib3知識點總結的文章就介紹到這瞭,更多相關python urllib和urllib3的內容詳解內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：