Python 批量下載陰陽師網站壁紙
代碼復制可直接使用,記得pip install下載requests和bs4
最終版本
# 引入系統類庫用於打開關閉文件 import sys # 使用文檔解析類庫 from bs4 import BeautifulSoup # 使用網絡請求類庫 import requests #圖片保存目錄 path = 'D:/陰陽師' #陰陽師壁紙網站 html_doc = "https://yys.163.com/media/picture.html" # 請求 requests_html_doc = requests.get(html_doc).text # 正則匹配所有href地址 regex = re.compile('.*?href="(.*?)2732x2048.jpg" rel="external nofollow" ') urls = regex.findall(requests_html_doc) # set集合可以防止下載的圖片重復 result = set() for i in urls: result.add(i) # 計數器用於圖片命名 num = 0 # 文件路徑、操作模式、編碼 # r'' # 打開文件錄入圖片 f = open(r'result.txt', 'w', encoding='utf-8') for a in urls: try: image_data = requests.get(a).content image_name = '{}.jpg'.format(num) # 給每張圖片命名 save_path = path + '/' + image_name # 圖片的保存地址 with open(save_path, 'wb') as f: f.write(image_data) print(image_name, '=======================>下載成功!!!') num = num+1 # 下一張圖片名字序號加一 except: pass # 關閉文件錄入 f.close() print("\r\n掃描結果已寫入到result.txt文件中\r\n")
過程
借鑒代碼
自己從0開始,沒有頭緒,而且對python掌握度不高,那先借鑒別人的代碼開始,第一篇借鑒的代碼如下
# 引入系統類庫 import sys # 使用文檔解析類庫 from bs4 import BeautifulSoup # 使用網絡請求類庫 import urllib.request path = 'D:/陰陽師' html_doc = "https://yys.163.com/media/picture.html" # 獲取請求 req = urllib.request.Request(html_doc) # 打開頁面 webpage = urllib.request.urlopen(req) # 讀取頁面內容 html = webpage.read() # 解析成文檔對象 soup = BeautifulSoup(html, 'html.parser') # 文檔對象 # 非法URL 1 invalidLink1 = '#' # 非法URL 2 invalidLink2 = 'javascript:void(0)' # set集合可以防止下載的圖片連接重復 result = set() # 計數器用於圖片命名 num = 0 # 查找文檔中所有a標簽 for k in soup.find_all('a'): # print(k) # 查找href標簽 link = k.get('href') # 過濾沒找到的 if(link is not None): # 過濾非法鏈接 if link == invalidLink1: pass elif link == invalidLink2: pass elif link.find("javascript:") != -1: pass else: result.add(link) for a in result: # 文件路徑、操作模式、編碼 # r'' f = open(r'result.txt', 'w', encoding='utf-8') # image_data = urllib.request.get(url=a).content image_data = requests.get(url=a).content image_name = '{}.jpg'.format(num) # 給每張圖片命名 save_path = path + '/' + image_name # 圖片的保存地址 with open(save_path, 'wb') as f: f.write(image_data) print(image_name, '=======================>下載成功!!!') num = num+1 # 下一張圖片名字序號加一 f.close() print("\r\n掃描結果已寫入到result.txt文件中\r\n")
思考urllib.request和requests
借鑒的代碼中使用urllib.request來請求,剛開始學習看到的一些代碼實例也常用urllib.request來發起請求,之後看到有的代碼使用的是requests。對於我個人,主觀感受requests更加便捷,少寫瞭幾行代碼,於是便去查閱瞭解兩者的區別。
BeautifulSoup
接觸到瞭BeautifulSoup,並且在一些文章的評論中看到對BeautifulSoup的稱贊,進入文檔查閱瞭下用法,改變瞭我之前對python,獲取文檔中部分特征的元素節點的寫法困難的印象。
Beautiful Soup 4.4.0 文檔
優化處理
之所以要加正則匹配,因為一開始獲取到的圖片鏈接裡有空字符串的現象,在下載圖片的時候直接報錯整個程序掛掉,而且這個借鑒代碼中的invalidLink1和invalidLink2看起來屬實不舒服。所以添加瞭正則從源頭保證鏈接的有效性,並且在執行下載代碼中,添加瞭try,except保證程序出錯也不會掛掉。
借鑒的代碼中每一次的下載,都會對要保存的目錄進行打開和關閉,於是將打開關閉抽離到最外層,下載的邏輯放在裡面,下載圖片成功的提速果然肉眼可見~
總結
壁紙確實不戳~,希望下一個學習的腳本能更加有趣~
以上就是Python 批量下載陰陽師網站壁紙的詳細內容,更多關於python 下載陰陽師網站壁紙的資料請關註WalkonNet其它相關文章!
推薦閱讀:
- Python3 實現將bytes圖片轉jpg格式
- python beautifulsoup4 模塊詳情
- Python基於百度AI實現抓取表情包
- 如何用Python一次性下載抖音上音樂
- Python實現快速保存微信公眾號文章中的圖片