python 如何使用requests下載文件
使用requests下載文件
1、獲取token,或者session
如不需要可忽略
login_url = "http://xxxx/api/auth/login" login_data = {"username":"test3","password":"123456"} login_res = requests.post(url=login_url,data = login_data) token = login_res.json()["data"]["token"]
2、獲取下載路徑
如果請求後直接返回文件內容,可直接進行第三步
batch_url = "http://xxxx/api/models/batch" batch_data = {"ids":"[4]","version_number":"[309]"} headers = {"Authorization":"bearer %s" % token} batch_res = requests.get(url=batch_url,params=batch_data,headers=headers)
3、根據下載路徑拼接下載url
完成文件下載以及寫入
file_path = batch_res.json()['data']['file_path'] file_name = batch_res.json()['data']['file_name'] down_url = "http://xxxx/api/report/down" down_data = {"type":2, "file_path":file_path, "file_name":file_name, "token":token } down_res = requests.get(url=down_url,params=down_data) with open(file_name,"wb") as code: code.write(down_res.content)
備註:
第二步返回json數據,包含路徑、文件名,實際是文件生成過程,第三步下載在服務端生成的文件,有時第三步無法在頁面F12查看到,需要使用抓包工具獲取
用requests.get下載文件
不知道大傢有沒有遇到這樣的問題
就是url源不穩定,時不時下載到空文件,我終於想到瞭一個解決的好辦法,分享給大傢。
def downloadfile(url,filename=None): if(not filename): #如果參數沒有指定文件名 filename=os.path.basename(url) #取用url的尾巴為文件名 leng=1 while(leng==1): torrent=requests.get(url,headers=headers) leng=len(list(torrent.iter_content(1024))) #下載區塊數 if(leng==1): #如果是1 就是空文件 重新下載 print(filename,'下載失敗,重新下載') sleep(1) else: print(path,'下載完成') with open(filename,'wb') as f: for chunk in torrent.iter_content(1024): #防止文件過大,以1024為單位一段段寫入 f.write(chunk)
以上為個人經驗,希望能給大傢一個參考,也希望大傢多多支持WalkonNet。
推薦閱讀:
- 寫一個Python腳本自動爬取Bilibili小視頻
- python接口自動化使用requests庫發送http請求
- python 爬取知乎回答下的微信8.0狀態視頻
- Jmeter並發執行Python 腳本的完整流程
- 基於Python制作B站視頻下載小工具