使用Python下載抖音各大V視頻的思路詳解

Posted on by

前言

本文的文字及圖片來源於網絡,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯系我們以作處理。

以下文章來源於Python七號 ，作者 somenzz

Python爬蟲、數據分析、網站開發等案例教程視頻免費在線觀看

https://space.bilibili.com/523606542

上次寫瞭用 Python 批量下載知乎視頻的方式，這次分享用 Python 批量下載抖音個人主頁的全部無水印視頻，本文重點不是提供一個好用的腳本，而是講述如何寫出這樣的腳本，正所謂授人以魚，不如授人以漁，所謂的爬蟲，基本都是這個套路。

思路

先說下思路，要批量下載視頻，可以先嘗試成功下載一個，確定沒有水印，然後在寫一個循環進行批量下載。

難點：下載一個視頻可能很簡單，但下載多個就稍微有點復雜，需要抓取多個視頻對應的 url，抖音這塊做瞭防爬措施，隻允許手機上看到個人主頁的視頻列表，電腦端的網頁卻看不到，這就需要抓取手機的 https 包，這裡借助 Burpsuite 進行抓包。

這裡用到瞭 Burpsuite ，因此我把自己常用的 Burpsuite 2.1.06 專業版放在瞭網盤裡面，公眾號「Python七號」回復「burp」獲取，下載後運行start_burp.bat或sh start_burp.sh即可一鍵啟動，無需購買許可，非常方便。

爬取單個視頻

  • 找一個抖音視頻鏈接，點擊分享，復制鏈接，在電腦上用打開，然後打開開發者工具，點擊 network 選項。
  • 刷新，看接口，找到返回值裡有播放地址的接口：

這裡面有個 play_addr，內部有個 urllist，我們復制這個 urllist[0] 在瀏覽器打開，網站跳轉到瞭真正的播放地址，同時可以看到下載的按鈕：

下載這個視頻，發現是帶水印的，如何下載到不帶水印的視頻呢？網上搜索瞭下，方法就是將上述 urllist[0] 中的 playwm 改成 play 就可以瞭。

然後開始寫代碼，獲取這個 urllist[0]，並下載

def get(share_url) -> dict:
  """
  share_url -> 抖音視頻分享url
  返回格式 [{'url':'', 'title','format':'',},{}]
  """
  data = []
  headers = {
    'accept': 'application/json',
    'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1'
  }
  api = "https://www.iesdouyin.com/web/api/v2/aweme/iteminfo/?item_ids={item_id}"

  rep = requests.get(share_url, headers=headers, timeout=10)
  if rep.ok:
    # item_id
    item_id = re.findall(r'video/(\d+)', rep.url)
    if item_id:
      item_id = item_id[0]
      # video info
      rep = requests.get(api.format(item_id=item_id), headers=headers, timeout=10)
      if rep.ok and rep.json()["status_code"] == 0:
        info = rep.json()["item_list"][0]
        tmp = {}
        tmp["title"] = info["desc"]

        #去水印的視頻鏈接
        play_url = info["video"]["play_addr"]["url_list"][0].replace('playwm', 'play')
        tmp["url"] = play_url
        tmp["format"] = 'mp4'
       def get(share_url) -> dict:
  """
  share_url -> 抖音視頻分享url
  返回格式 [{'url':'', 'title','format':'',},{}]
  """
  data = []
  headers = {
    'accept': 'application/json',
    'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1'
  }
  api = "https://www.iesdouyin.com/web/api/v2/aweme/iteminfo/?item_ids={item_id}"

  rep = requests.get(share_url, headers=headers, timeout=10)
  if rep.ok:
    # item_id
    item_id = re.findall(r'video/(\d+)', rep.url)
    if item_id:
      item_id = item_id[0]
      # video info
      rep = requests.get(api.format(item_id=item_id), headers=headers, timeout=10)
      if rep.ok and rep.json()["status_code"] == 0:
        info = rep.json()["item_list"][0]
        tmp = {}
        tmp["title"] = info["desc"]

        #去水印的視頻鏈接
        play_url = info["video"]["play_addr"]["url_list"][0].replace('playwm', 'play')
        tmp["url"] = play_url
        tmp["format"] = 'mp4'
        data.append(tmp)

  return data

if __name__ =='__main__':
  videos = get('https://www.iesdouyin.com/share/video/6920538027345415431/?region=&mid=6920538030852885262&u_code=48&titleType=title&did=0&iid=0')
  for video in videos:
    downloader.download(video['url'],video['title'],video['format'],'./download') data.append(tmp)

  return data

if __name__ =='__main__':
  videos = get('https://www.iesdouyin.com/share/video/6920538027345415431/?region=&mid=6920538030852885262&u_code=48&titleType=title&did=0&iid=0')
  for video in videos:
    downloader.download(video['url'],video['title'],video['format'],'./download')

這裡 downloader.download 函數，與前文知乎視頻下載 裡的函數一樣，這裡就不貼代碼瞭。

獲取個人主頁視頻鏈接

前兩步已經實現瞭單個抖音視頻的無水印下載，現在我們要做的就是找到大量的這種鏈接，直接循環就可以瞭。

任意打開一個大 V 的個人主頁，分享，復制鏈接，使用瀏覽器打開，一個視頻也看不到，而使用抖音 App 就可以看到：

瀏覽器

抖音APP

說明抖音做瞭一定的限制，防止從瀏覽器看到多個視頻的信息。這時就需要學會從手機 APP 來抓包，看看手機上的 http 請求是怎麼發起的，然後使用程序來模擬。

我一直在用的 BurpSuite（下面簡稱 Burp） 非常好用，這裡順便分享下如何使用：

1、運行 Burp

下載後運行start_burp.bat或sh start_burp.sh來啟動 Burp，然後打開代理設置，綁定到運行 Burp 的機器 IP，如下圖所示：

註意不要設置 ip 為 127.0.0.1，這樣設置的話，隻有本地請求可以使用代理，手機無法連接此代理。

2、手機設置代理

手機與電腦連接同一 wifi，IPhone 的操作如下：然後進入設置-> 無線局域網 -> 點擊同一 wifi 右邊的 information 符號，然後下拉，點擊配置代理，配置和 BurpSuite 一樣的 ip 和端口。Android 的手機的設置也差不多。至此可以在 BurpSuite 上抓取手機的 http 流量。

3、手機下載 Burp 的證書，並設置信任

手機瀏覽器 進入 http://burp。點擊 CA 下載證書。設置->通用->描述文件->點擊 PortSwigger CA->安裝設置->通用->關於本機->證書信任設置，將 BurpSuite 的證書開啟

這樣就可以抓取手機上發起的 https 包瞭。

4、設置 BurpSuite 中斷

這一步驟設置之後，手機上的請求會在這裡阻塞，你可以放行選擇放行，或修改數據包後放行，也可以發往 repeater，以便後續重放請求，因此來自前端的請求是不可信的。

現在打開手機上的抖音 App，這裡便會出現大量的請求阻塞在這裡，我們選擇放行，會發現抖音 App 裡的數據一步一步的出現。快刷到個人主頁的視頻之前，將請求發到 Repeater，如下圖所示：

然後打開 BurpSuite 的 Repeater 選項卡，就可以看到剛才發過來的請求，這時我們選擇重放，看數據，決定我們需要使用的接口，如下圖所示：

發現這個接口滿足請求，這裡可以看到接口的 url，headers 的各種參數，headers 中的 User-Agent 參數，是區分客戶端是瀏覽器還是 App 的重要標識，因此就可以寫代碼來模擬請求，進而獲取需要的批量下載鏈接。

由於 url 中的參數非常多，有些是固定不變的，有些隨著不同人的主頁參數會發生變化，如果僅僅是自己使用，可以簡單的通過正則表達式來提取這些 url 鏈接，然後進行批量下載就可以瞭。

如果是想寫好一個腳本供別人使用，那麼就需要做更多的工作，比如說，需要查看更多的 api，以便確定 url 及 headers 中的參數是如何獲取或生成的，然後寫腳本自動化這一過程，有些情況下，還涉及到加密混淆等反爬措施，這裡就不再展開瞭，請感興趣的讀者自行探索。

最後的話

爬取視頻的關鍵在於找到視頻的播放地址，有瞭播放地址，即使不寫代碼，也可以使用瀏覽器下載，尋找播放地址還不夠，要考慮是否能去水印，如果要批量下載，那就要知道如何獲取更多的視頻鏈接，在瀏覽器抓取不到的時候，考慮使用 BurpSuite 抓取手機的流量包，進一步提取接口的數據，或模擬手機請求，對搞爬蟲的同學，BurpSuite 是一個瑞士軍刀，非常實用。

如果本文對你有所幫助，請點個贊或再看吧，謝謝支持。

到此這篇關於使用Python下載抖音各大V視頻的思路詳解的文章就介紹到這瞭,更多相關Python下載抖音視頻內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：