python 爬取嗶哩嗶哩up主信息和投稿視頻

Posted on by

項目地址：

https://github.com/cgDeepLearn/BilibiliCrawler

 項目特點

  1. 采取瞭一定的反反爬策略。
  2. Bilibili更改瞭用戶頁面的api, 用戶抓取解析程序需要重構。

快速開始

  1. 拉取項目, git clone https://github.com/cgDeepLearn/BilibiliCrawler.git
  2. 進入項目主目錄，安裝虛擬環境crawlenv(請參考使用說明裡的虛擬環境安裝)。
  3. 激活環境並在主目錄運行crawl,爬取結果將保存在data目錄csv文件中。
ource activate crawlenv
python initial.py file  # 初始化file模式
python crawl_user.py file 1 100  # file模式，1 100是開始、結束bilibili的uid

進入data目錄查看抓取的數據，是不是很簡單！

如果需要使用數據庫保存和一些其他的設置，請看下面的使用說明

使用說明

1.拉取項目

git clone https://github.com/cgDeepLearn/BilibiliCrawler.git

2.進入項目主目錄， 安裝虛擬環境

  • 若已安裝anaconda
conda create -n crawlenv python=3.6
source activate crawlenv  # 激活虛擬環境
pip install -r requirements.txt
  • 若使用virtualenv
virtualenv crawlenv
source crawlenv/bin/activate  # 激活虛擬環境，windows下不用source
pip install -r requirements.txt  # 安裝項目依賴

3. 修改配置文件

進入config目錄，修改config.ini配置文件(默認使用的是postgresql數據庫，如果你是使用的是postgresql，隻需要將其中的參數替換成你的，下面其他的步驟可以忽略) 數據庫配置選擇其中一個你本地安裝的即可，將參數更換成你的 如果你需要更自動化的數據庫配置，請移步我的DB_ORM項目

[db_mysql]
user = test
password = test
host = localhost
port = 3306
dbname = testdb

[db_postgresql]
user = test
password = test
host = localhost
port = 5432
dbname = testdb

然後修改conf.py中獲取配置文件的函數

def get_db_args():
    """
    獲取數據庫配置信息
    """
    return dict(CONFIG.items('db_postgresql'))  # 如果安裝的是mysql,請將參數替換為db_mysql

進入db目錄，修改basic.py的連接數據庫的DSN

# connect_str = "postgresql+psycopg2://{}:{}@{}:{}/{}".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname'])
# 若使用的是mysql，請將上面的connect_str替換成下面的
connect_str = "mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname'])
# sqlite3，mongo等請移步我的DB_ORM項目，其他一些數據庫也將添加支持

4. 運行爬蟲

  • 在主目錄激活虛擬環境， 初次運行請執行
python initial.py db # db模式，file模式請將db換成file
# file模式會將抓取結果保存在data目錄
# db模式會將數據保存在設置好的數據庫中
# 若再次以db模式運行將會drop所有表後再create，初次運行後請慎重再次使用!!!
# 如果修改添加瞭表，並不想清空數據，請運行 python create_all.py
  • 開始抓取示例
python crawl_user.py db 1 10000 # crawl_user 抓取用戶數據，db 保存在數據庫中， 1 10000為抓取起止id
python crawl_video_ajax.py db 1 100 # crawl_video_ajax 抓取視頻ajax信息保存到數據庫中,
python crawl_user_video.py db 1 10000 #同時抓取user 和videoinfo
# 示例為uid從1到100的user如果有投稿視頻則抓取其投稿視頻的信息，
# 若想通過視頻id逐個抓取請運行python crawl_video_by_aid.py db 1 1000
  • 爬取速率控制

程序內已進行瞭一些抓取速率的設置，但各機器cpu、mem不同抓取速率也不同，請酌情修改
太快太慢請修改各crawl中的sleepsec參數,ip會被限制訪問頻率，overspeed會導致爬取數據不全，
之後會添加運行參數speed(high, low),不用再手動配置速率

  • 日志

爬取日志在logs目錄
user, video分別為用戶和視頻的爬取日志
storage為數據庫日志 如需更換log格式，請修改logger模塊

  • 後臺運行

linux下運行python ……前面加上nohup，例如:

nohup python crawl_user db 1 10000

程序輸出保存文件，默認會包存在主目錄額nohup.out文件中，添加 > fielname就會保存在設置的文件中:

nohup python crawl_video_ajax.py db 1 1000 > video_ajaxup_1_1000.out  # 輸出將保存在video_ajaxup_1_1000.out中
  • 更多

程序多線程使用的生產者消費者模式中產生瞭程序運行的狀況的打印信息，類似如下

produce 1_1
consumed 1_1
...

如想運行更快，請在程序各項設置好後註釋掉其中的打印程序

# utils/pcModels.py
print('[+] produce %s_%s' % (index, pitem))  # 請註釋掉

print('[-] consumed %s_%s\n' % (index, data))  # 請註釋掉

更多

項目是單機多線程，若想使用分佈式爬取，請參考Crawler-Celery

以上就是python 爬取嗶哩嗶哩up主信息和投稿視頻的詳細內容，更多關於python 爬取嗶哩嗶哩的資料請關註WalkonNet其它相關文章！

推薦閱讀：