Python自動爬取圖片並保存實例代碼
一、準備工作
用python來實現對百度圖片的爬取並保存,以情緒圖片為例,百度搜索可得到下圖所示
f12打開源碼
在此處可以看到這次我們要爬取的圖片的基本信息是在img – scr中
二、代碼實現
這次的爬取主要用瞭如下的第三方庫
import re import time import requests from bs4 import BeautifulSoup import os
簡單構思可以分為三個小部分
1.獲取網頁內容
2.解析網頁
3.保存圖片至相應位置
下面來看第一部分:獲取網頁內容
baseurl = 'https://cn.bing.com/images/search?q=%E6%83%85%E7%BB%AA%E5%9B%BE%E7%89%87&qpvt=%e6%83%85%e7%bb%aa%e5%9b%be%e7%89%87&form=IGRE&first=1&cw=418&ch=652&tsc=ImageBasicHover' head = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 Edg/92.0.902.67"} response = requests.get(baseurl, headers=head) # 獲取網頁信息 html = response.text # 將網頁信息轉化為text形式
是不是so easy
第二部分解析網頁才是大頭
來看代碼
Img = re.compile(r'img.*src="(.*?)"') # 正則表達式匹配圖片 soup = BeautifulSoup(html, "html.parser") # BeautifulSoup解析html #i = 0 # 計數器初始值 data = [] # 存儲圖片超鏈接的列表 for item in soup.find_all('img', src=""): # soup.find_all對網頁中的img—src進行迭代 item = str(item) # 轉換為str類型 Picture = re.findall(Img, item) # 結合re正則表達式和BeautifulSoup, 僅返回超鏈接 for b in Picture: data.append(b) #i = i + 1 return data[-1] # print(i)
這裡就運用到瞭BeautifulSoup以及re正則表達式的相關知識,需要有一定的基礎哦
下面就是第三部分:保存圖片
for m in getdata( baseurl='https://cn.bing.com/images/search?q=%E6%83%85%E7%BB%AA%E5%9B%BE%E7%89%87&qpvt=%e6%83%85%e7%bb%aa%e5%9b%be%e7%89%87&form=IGRE&first=1&cw=418&ch=652&tsc=ImageBasicHover'): resp = requests.get(m) #獲取網頁信息 byte = resp.content # 轉化為content二進制 print(os.getcwd()) # os庫中輸出當前的路徑 i = i + 1 # 遞增 # img_path = os.path.join(m) with open("path{}.jpg".format(i), "wb") as f: # 文件寫入 f.write(byte) time.sleep(0.5) # 每隔0.5秒下載一張圖片放入D://情緒圖片測試 print("第{}張圖片爬取成功!".format(i))
各行代碼的解釋已經給大傢寫在註釋中啦,不明白的地方可以直接私信或評論哦~
下面是完整的代碼
import re import time import requests from bs4 import BeautifulSoup import os # m = 'https://tse2-mm.cn.bing.net/th/id/OIP-C.uihwmxDdgfK4FlCIXx-3jgHaPc?w=115&h=183&c=7&r=0&o=5&pid=1.7' ''' resp = requests.get(m) byte = resp.content print(os.getcwd()) img_path = os.path.join(m) ''' def main(): baseurl = 'https://cn.bing.com/images/search?q=%E6%83%85%E7%BB%AA%E5%9B%BE%E7%89%87&qpvt=%e6%83%85%e7%bb%aa%e5%9b%be%e7%89%87&form=IGRE&first=1&cw=418&ch=652&tsc=ImageBasicHover' datalist = getdata(baseurl) def getdata(baseurl): Img = re.compile(r'img.*src="(.*?)"') # 正則表達式匹配圖片 datalist = [] head = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 Edg/92.0.902.67"} response = requests.get(baseurl, headers=head) # 獲取網頁信息 html = response.text # 將網頁信息轉化為text形式 soup = BeautifulSoup(html, "html.parser") # BeautifulSoup解析html # i = 0 # 計數器初始值 data = [] # 存儲圖片超鏈接的列表 for item in soup.find_all('img', src=""): # soup.find_all對網頁中的img—src進行迭代 item = str(item) # 轉換為str類型 Picture = re.findall(Img, item) # 結合re正則表達式和BeautifulSoup, 僅返回超鏈接 for b in Picture: # 遍歷列表,取最後一次結果 data.append(b) # i = i + 1 datalist.append(data[-1]) return datalist # 返回一個包含超鏈接的新列表 # print(i) ''' with open("img_path.jpg","wb") as f: f.write(byte) ''' if __name__ == '__main__': os.chdir("D://情緒圖片測試") main() i = 0 # 圖片名遞增 for m in getdata( baseurl='https://cn.bing.com/images/search?q=%E6%83%85%E7%BB%AA%E5%9B%BE%E7%89%87&qpvt=%e6%83%85%e7%bb%aa%e5%9b%be%e7%89%87&form=IGRE&first=1&cw=418&ch=652&tsc=ImageBasicHover'): resp = requests.get(m) #獲取網頁信息 byte = resp.content # 轉化為content二進制 print(os.getcwd()) # os庫中輸出當前的路徑 i = i + 1 # 遞增 # img_path = os.path.join(m) with open("path{}.jpg".format(i), "wb") as f: # 文件寫入 f.write(byte) time.sleep(0.5) # 每隔0.5秒下載一張圖片放入D://情緒圖片測試 print("第{}張圖片爬取成功!".format(i))
最後的運行截圖
三、總結
到此這篇關於Python自動爬取圖片並保存實例代碼的文章就介紹到這瞭,更多相關Python爬取圖片內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- Python爬取求職網requests庫和BeautifulSoup庫使用詳解
- python beautifulsoup4 模塊詳情
- Python使用Beautiful Soup實現解析網頁
- python爬蟲beautifulsoup庫使用操作教程全解(python爬蟲基礎入門)
- Python爬蟲網頁元素定位術