教你用Python爬取英雄聯盟皮膚原畫
一、推理原理
1.先去《英雄聯盟》官網找到英雄及皮膚圖片的網址:
http://lol.qq.com/data/info-heros.shtml
2.從上面網址可以看到所有英雄都在,按下F12查看源代碼,發現英雄及皮膚圖片並沒有直接給出,而是隱藏在JS文件中。這時候需要點開Network,找到js窗口,刷新網頁,就看到一個champion.js的選項,點擊可以看到一個字典——裡面就包含瞭所有英雄的名字(英文)以及對應的編號。
3.但是隻有英雄的名字(英文)以及對應的編號並不能找到圖片地址,於是回到網頁,隨便點開一個英雄,跳轉頁面後發現英雄及皮膚的圖片都在,但要下載還需要找到原地址,這是鼠標右擊選擇“在新標簽頁中打開”,新的網頁才是圖片的原地址。
4.圖中紅色框就是我們需要的圖片地址,經過分析知道:每一個英雄及皮膚的地址隻有編號不一樣(http://ossweb-img.qq.com/images/lol/web201310/skin/big266000.jpg),而該編號有6位,前3位表示英雄,後三位表示皮膚。剛才找到的js文件中恰好有英雄的編號,而皮膚的編碼可以自己定義,反正每個英雄皮膚不超過20個,然後組合起來就可以瞭。
二、推理代碼
第一步:獲取js字典
def path_js(url_js): res_js = requests.get(url_js, verify = False).content html_js = res_js.decode("gbk") pat_js = r'"keys":(.*?),"data"' enc = re.compile(pat_js) list_js = enc.findall(html_js) dict_js = eval(list_js[0]) return dict_js
第二步:從 js字典中提取到key值生成url列表
def path_url(dict_js): pic_list = [] for key in dict_js: for i in range(20): xuhao = str(i) if len(xuhao) == 1: num_houxu = "00" + xuhao elif len(xuhao) == 2: num_houxu = "0" + xuhao numStr = key+num_houxu url = r'http://ossweb-img.qq.com/images/lol/web201310/skin/big'+numStr+'.jpg' pic_list.append(url) print(pic_list) return pic_list
第三步:從 js字典中提取到value值生成name列表
def name_pic(dict_js, path): list_filePath = [] for name in dict_js.values(): for i in range(20): file_path = path + name + str(i) + '.jpg' list_filePath.append(file_path) return list_filePath
第四步:下載並保存數據
def writing(url_list, list_filePath): try: for i in range(len(url_list)): res = requests.get(url_list[i], verify = False).content with open(list_filePath[i], "wb") as f: f.write(res) except Exception as e: print("下載圖片出錯,%s" %(e)) return False
第五步:執行主程序
if __name__ == '__main__': url_js = r'http://lol.qq.com/biz/hero/champion.js' path = r'./data/' #圖片存在的文件夾 dict_js = path_js(url_js) url_list = path_url(dict_js) list_filePath = name_pic(dict_js, path) writing(url_list, list_filePath)
運行後會在控制臺打印出每一張圖片的網址:
在文件夾中可以看到圖片已經下載好
如圖:
到此這篇關於教你用Python爬取英雄聯盟皮膚原畫的文章就介紹到這瞭,更多相關Python爬取皮膚內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- python 爬取英雄聯盟皮膚圖片
- Python序列的推導式實現代碼
- python進階從青銅到王者一定會用上的Python技巧
- Python中淺拷貝的四種實現方法小結
- 深入淺析Python數據分析的過程記錄