Python爬蟲實戰演練之采集糗事百科段子數據

Posted on by

知識點

1.爬蟲基本步驟
2.requests模塊
3.parsel模塊
4.xpath數據解析方法
5.分頁功能

爬蟲基本步驟:

1.獲取網頁地址 (糗事百科的段子的地址)
2.發送請求
3.數據解析
4.保存 本地

爬蟲代碼

導入所需模塊

import re
import requests
import parsel

獲取網頁地址

url = 'https://www.qiushibaike.com/text/'
# 請求頭   偽裝客戶端向服務器發送請求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}

發送請求

requ = requests.get(url=url, headers=headers).text

數據解析

sel = parsel.Selector(requ)  # 解析對象 <Selector xpath=None data='<html xmlns="http://www.w3.org/1999/x...'>
href = sel.xpath('//body/div/div/div[2]/div/a[1]/@href').getall()
for html in href:
    txt_href = 'https://www.qiushibaike.com' + html
    requ2 = requests.get(url=txt_href, headers=headers).text
    sel2 = parsel.Selector(requ2)
    title = sel2.xpath('//body/div[2]/div/div[2]/h1/text()').get().strip()
    title = re.sub(r'[|/\：？<>*]','_',title)
    # content = sel2.xpath('//div[@class="content"]/text()').getall()
    content = sel2.xpath('//body/div[2]/div/div[2]/div[2]/div[1]/div/text()').getall()
    contents = '\n'.join(content)

保存數據

with open('糗事百科text\\'+title + '.txt', mode='w', encoding='utf-8') as fp:
    fp.write(contents)
    print(title, '下載成功')

運行代碼，得到數據

【付費VIP完整版】隻要看瞭就能學會的教程，80集Python基礎入門視頻教學

點這裡即可免費在線觀看

到此這篇關於Python爬蟲實戰演練之采集糗事百科段子數據的文章就介紹到這瞭,更多相關Python 采集糗事百科段子內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：