關於python爬蟲應用urllib庫作用分析
一、urllib庫是什麼?
urllib庫用於操作網頁 URL,並對網頁的內容進行抓取處理
urllib包 包含以下幾個模塊:
urllib.request
– 打開和讀取 URL。
urllib.error
– 包含 urllib.request 拋出的異常。
urllib.parse
– 解析 URL。
urllib.robotparser
– 解析 robots.txt 文件
python爬蟲主要用到的urllib庫中的request和parse模塊
二、urllib庫的使用
下面我們來詳細說明一下這兩個常用模塊的基本運用
urllib.request模塊
urllib.request 定義瞭一些打開 URL 的函數和類,包含授權驗證、重定向、瀏覽器 cookies等。
語法如下:
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None,
capath=None, cadefault=False, context=None)
url
:url 地址。
data
:發送到服務器的其他數據對象,默認為 None。
timeout
:設置訪問超時時間。
cafile
和 capath
:cafile 為 CA 證書, capath 為 CA 證書的路徑,使用 HTTPS 需要用到。
cadefault
:已經被棄用。
context
:ssl.SSLContext類型,用來指定 SSL 設置。
# -*- codeing = utf-8 -*- # @Author: Y-peak # @Time : 2021/9/2 19:24 # @FileName : testUrllib.py # Software : PyCharm import urllib.request #get請求 response = urllib.request.urlopen("http://www.baidu.com") #返回的是存儲網頁數據的對象 #print(response) 可以嘗試打印一下看一下 print(response.read().decode('utf-8')) #通過read將數據讀取出來, 使用utf-8解碼防止有的地方出現亂碼
將其打印的內容寫到一個html文件中,打開和百度一毛一樣
# -*- codeing = utf-8 -*- # @Author: Y-peak # @Time : 2021/9/2 19:24 # @FileName : testUrllib.py # Software : PyCharm import urllib.request response = urllib.request.urlopen("http://www.baidu.com") #返回的是存儲網頁數據的對象 data = response.read().decode('utf-8') #通過read將數據讀取出來, 使用utf-8解碼防止有的地方出現亂碼 #print(data) with open("index.html",'w',encoding='utf-8') as wfile: #或者你們也可以常規打開,不過需要最後關閉記得close() wfile.write(data) print("讀取結束")
urllib.parse模塊
有時我們爬蟲需要模擬瀏覽器進行用戶登錄等操作,這個時候我們就需要進行post請求
但是post必須有一個獲取請求之後的響應,也就是我們需要有一個服務器。給大傢介紹一個免費的服務器網址,就是用來測試用的http://httpbin.org/。主要用來測試http和https的
我們可以嘗試執行一下,去獲取對應的響應。
可以用Linux命令去發起請求,URL地址為http://httpbin.org/post。得到下方的響應。
我們也可以通過爬蟲來實現
# -*- codeing = utf-8 -*- # @Author: Y-peak # @Time : 2021/9/2 19:24 # @FileName : testUrllib.py # Software : PyCharm import urllib.request import urllib.parse #解析器 data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding='utf-8') #轉換為二進制數據包,裡面是鍵值對(有時輸入的用戶名:密碼就是這樣的),還有一些編碼解碼的數值等.這裡就是按照utf-8的格式進行解析封裝生成二進制數據包 response = urllib.request.urlopen("http://httpbin.org/post",data=data) #返回的請求 print(response.read().decode('utf-8')) #通過read將數據讀取出來, 使用utf-8解碼防止有的地方出現亂碼
兩個響應結果對比是不是一樣幾乎
相當於進行瞭一次模擬的post請求。這樣有些需要登錄的網站也是可以爬取的。
利用try-except,進行超時處理
一般進行爬蟲時,不可能一直等待響應。有時網絡不好或者網頁有反爬或者一些其他東西時。無法快速爬出。我們就可以進入下一個網頁繼續去爬。利用timeout屬性就好
# -*- codeing = utf-8 -*- # @Author: Y-peak # @Time : 2021/9/2 19:24 # @FileName : testUrllib.py # Software : PyCharm import urllib.request try: response = urllib.request.urlopen("http://httpbin.org/get",timeout=0.01) #返回的是存儲網頁數據的對象, 直接用這個網址的get請求瞭.timeout表示超時,超過0.01秒不響應就報錯,避免持續等待 print(response.read().decode('utf-8')) #通過read將數據讀取出來, 使用utf-8解碼防止有的地方出現亂碼 except urllib.error.URLError as e: print("超時瞭\t\t錯誤為:",e)
status狀態碼 && getheaders()
status:
- 返回200,正確響應可以爬取
- 報錯404,沒有找到網頁
- 報錯418,老子知道你就是爬蟲
- getheaders():獲取Response Headers
- 也可以通過gethead(“xx”) 獲取xx對應的值,比如:上圖 gethead(content-encoding) 為 gzip
突破反爬
首先打開任何一個網頁按F12找到Response Headers,拉到最下面找到 User-Agent。將其復制保存下來,為反爬做準備。
下面我們進行嘗試,直接爬取豆瓣,直接來個418,知道你是爬蟲,我們來偽裝一下
為什麼418呢,因為如果是直接進行請求訪問的話,發過去的User-Agent 是下面的,直接告訴瀏覽器我們是爬蟲。我們需要偽裝
# -*- codeing = utf-8 -*- # @Author: Y-peak # @Time : 2021/9/2 19:24 # @FileName : testUrllib.py # Software : PyCharm import urllib.request headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36" } request = urllib.request.Request("http://douban.com", headers=headers) #返回的是請求,將我們偽裝成瀏覽器發送的請求 response = urllib.request.urlopen(request) #返回的是存儲網頁數據的對象 data = response.read().decode('utf-8') #通過read將數據讀取出來, 使用utf-8解碼防止有的地方出現亂碼 with open("index.html",'w',encoding='utf-8') as wfile: #或者你們也可以常規打開,不過需要最後關閉記得close() wfile.write(data)
當然反爬不可能如此簡單,上面將講的那個 post請求,也是十分常見的突破反爬的方式,不行就將整個Response Headers全部模仿。下面還有個例子作為參考。和上面的post訪問的網址一樣
瀏覽器訪問結果
爬蟲訪問結果
# -*- codeing = utf-8 -*- # @Author: Y-peak # @Time : 2021/9/3 0:47 # @FileName : testUrllib.py # Software : PyCharm import urllib.request import urllib.parse headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36" } url = "http://httpbin.org/post" data = (bytes)(urllib.parse.urlencode({"賬戶":"密碼"}),encoding = 'utf-8') request = urllib.request.Request(url, data = data,headers=headers, method='POST') #返回的是請求 response = urllib.request.urlopen(request) #返回的是存儲網頁數據的對象 data = response.read().decode('utf-8') #通過read將數據讀取出來, 使用utf-8解碼防止有的地方出現亂碼 print(data)
以上就是關於python爬蟲應用urllib庫作用分析的詳細內容,更多關於python爬蟲urllib庫分析的資料請關註WalkonNet其它相關文章!
推薦閱讀:
- python 如何用urllib與服務端交互(發送和接收數據)
- python urllib.request模塊的使用詳解
- Python爬蟲之urllib庫詳解
- Python爬蟲中urllib3與urllib的區別是什麼
- Python urllib 入門使用詳細教程