Python7個爬蟲小案例詳解(附源碼)下篇
本次的7個python爬蟲小案例涉及到瞭re正則、xpath、beautiful soup、selenium等知識點,非常適合剛入門python爬蟲的小夥伴參考學習。
前言
關於Python7個爬蟲小案例的文章分為三篇,本篇為下篇,共三題,其餘兩篇內容請關註!
題目五:
實現多種方法模擬登錄知乎,並爬取與一個與江漢大學有關問題和答案
首先使用selenium打開知乎登錄頁面,接著使用手機進行二維碼掃描登錄
進入頁面後,打開開發者工具,找到元素,,定位輸入框,輸入漢江大學,然後點擊搜索按鈕
以第二條帖子為例,進行元素分析 。
源代碼及結果截圖:
from time import sleep from selenium.webdriver.chrome.service import Service from selenium.webdriver import Chrome,ChromeOptions from selenium.webdriver.common.by import By import warnings def main(): #忽略警告 warnings.filterwarnings("ignore") # 創建一個驅動 service = Service('chromedriver.exe') options = ChromeOptions() # 偽造瀏覽器 options.add_experimental_option('excludeSwitches', ['enable-automation','enable-logging']) options.add_experimental_option('useAutomationExtension', False) # 創建一個瀏覽器 driver = Chrome(service=service,options=options) # 繞過檢測 driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => false }) """ }) # 打開知乎登錄頁面 driver.get('https://www.zhihu.com/') sleep(30) # 點擊搜索框 driver.find_element(By.ID,'Popover1-toggle').click() # 輸入內容 driver.find_element(By.ID,'Popover1-toggle').send_keys('漢江大學') sleep(2) # 點擊搜索圖標 driver.find_element(By.XPATH,'//*[@id="root"]/div/div[2]/header/div[2]/div[1]/div/form/div/div/label/button').click() # 等待頁面加載完 driver.implicitly_wait(20) # 獲取標題 title = driver.find_element(By.XPATH,'//*[@id="SearchMain"]/div/div/div/div/div[2]/div/div/div/h2/div/a/span').text # 點擊閱讀全文 driver.find_element(By.XPATH,'//*[@id="SearchMain"]/div/div/div/div/div[2]/div/div/div/div/span/div/button').click() sleep(2) # 獲取帖子內容 content = driver.find_element(By.XPATH,'//*[@id="SearchMain"]/div/div/div/div/div[2]/div/div/div/div/span[1]/div/span/p').text # 點擊評論 driver.find_element(By.XPATH,'//*[@id="SearchMain"]/div/div/div/div/div[2]/div/div/div/div/div[3]/div/div/button[1]').click() sleep(2) # 點擊獲取更多評論 driver.find_element(By.XPATH,'//*[@id="SearchMain"]/div/div/div/div/div[2]/div/div/div/div[2]/div/div/div[2]/div[2]/div/div[3]/button').click() sleep(2) # 獲取評論數據的節點 divs = driver.find_elements(By.XPATH,'/html/body/div[6]/div/div/div[2]/div/div/div/div[2]/div[3]/div') try: for div in divs: # 評論內容 comment = div.find_element(By.XPATH,'./div/div/div[2]').text f.write(comment) # 寫入文件 f.write('\n') print(comment) except: driver.close() if __name__ == '__main__': # 創建文件存儲數據 with open('05.txt','a',encoding='utf-8')as f: main()
題目六:
綜合利用所學知識,爬取某個某博用戶前5頁的微博內容
這裡我們選取瞭人民日報的微博內容進行爬取,具體頁面我就不放這瞭,怕違規。
源代碼:
import requests import csv from time import sleep import random def main(page): url = f'https://weibo.com/ajax/statuses/mymblog?uid=2803301701&page={page}&feature=0&since_id=4824543023860882kp{page}' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36', 'cookie':'SINAGLOBAL=6330339198688.262.1661412257300; ULV=1661412257303:1:1:1:6330339198688.262.1661412257300:; PC_TOKEN=8b935a3a6e; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9WWoQDW1G.Vsux_WIbm9NsCq5JpX5KMhUgL.FoMNShMN1K5ESKq2dJLoIpjLxKnL1h.LB.-LxKqLBoBLB.-LxKqLBKeLB--t; ALF=1697345086; SSOLoginState=1665809086; SCF=Auy-TaGDNaCT06C4RU3M3kQ0-QgmTXuo9D79pM7HVAjce1K3W92R1-fHAP3gXR6orrHK_FSwDsodoGTj7nX_1Hw.; SUB=_2A25OTkruDeRhGeFJ71UW-S7OzjqIHXVtOjsmrDV8PUNbmtANLVKmkW9Nf9yGtaKedmyOsDKGh84ivtfHMGwvRNtZ; XSRF-TOKEN=LK4bhZJ7sEohF6dtSwhZnTS4; WBPSESS=PfYjpkhjwcpEXrS7xtxJwmpyQoHWuGAMhQkKHvr_seQNjwPPx0HJgSgqWTZiNRgDxypgeqzSMsbVyaDvo7ng6uTdC9Brt07zYoh6wXXhQjMtzAXot-tZzLRlW_69Am82CXWOFfcvM4AzsWlAI-6ZNA==' } resp = requests.get(url,headers=headers) data_list = resp.json()['data']['list'] for item in data_list: created_time = item['created_at'] # 發佈時間 author = item['user']['screen_name'] # 作者 title = item['text_raw'] # 帖子標題 reposts_count = item['reposts_count'] # 轉發數 comments_count = item['comments_count'] # 評論數 attitudes_count = item['attitudes_count'] # 點贊數 csvwriter.writerow((created_time,author,title,reposts_count,comments_count,attitudes_count)) print(created_time,author,title,reposts_count,comments_count,attitudes_count) print(f'第{page}頁爬取完畢') if __name__ == '__main__': # 創建保存數據的csv文件 with open('06-2.csv','a',encoding='utf-8',newline='')as f: csvwriter = csv.writer(f) # 添加文件表頭 csvwriter.writerow(('發佈時間','發佈作者','帖子標題','轉發數','評論數','點贊數')) for page in range(1,6): # 爬取前5頁數據 main(page) sleep(5+random.random())
題目七:
自選一個熱點或者你感興趣的主題,爬取數據並進行簡要數據分析
(例如,通過爬取電影的名稱、類型、總票房等數據統計分析不同類型電影的平均票房,十年間每年票房冠軍的票房走勢等;通過爬取中國各省份地區人口數量,統計分析我國人口分佈等)
本次選取的網址是藝恩娛數,目標是爬取裡面的票房榜數據,通過開發者工具抓包分析找到數據接口,然後開始編寫代碼進行數據抓取。
源代碼及結果截圖:
import requests import csv import pandas as pd import matplotlib.pyplot as plt import warnings warnings.filterwarnings('ignore') plt.rcParams['font.sans-serif'] = ['SimHei'] #解決中文顯示 plt.rcParams['axes.unicode_minus'] = False #解決符號無法顯示 def main(): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36',} data = { 'r': '0.9936776079863086', 'top': '50', 'type': '0', } resp = requests.post('https://ys.endata.cn/enlib-api/api/home/getrank_mainland.do', headers=headers, data=data) data_list = resp.json()['data']['table0'] for item in data_list: rank = item['Irank'] # 排名 MovieName = item['MovieName'] # 電影名稱 ReleaseTime = item['ReleaseTime'] # 上映時間 TotalPrice = item['BoxOffice'] # 總票房(萬) AvgPrice = item['AvgBoxOffice'] # 平均票價 AvgAudienceCount = item['AvgAudienceCount'] # 平均場次 # 寫入csv文件 csvwriter.writerow((rank,MovieName,ReleaseTime,TotalPrice,AvgPrice,AvgAudienceCount)) print(rank,MovieName,ReleaseTime,TotalPrice,AvgPrice,AvgAudienceCount) def data_analyze(): # 讀取數據 data = pd.read_csv('07.csv') # 從上映時間中提取出年份 data['年份'] = data['上映時間'].apply(lambda x: x.split('-')[0]) # 各年度上榜電影總票房占比 df1 = data.groupby('年份')['總票房(萬)'].sum() plt.figure(figsize=(6, 6)) plt.pie(df1, labels=df1.index.to_list(), autopct='%1.2f%%') plt.title('各年度上榜電影總票房占比') plt.show() # 各個年份總票房趨勢 df1 = data.groupby('年份')['總票房(萬)'].sum() plt.figure(figsize=(6, 6)) plt.plot(df1.index.to_list(), df1.values.tolist()) plt.title('各年度上榜電影總票房趨勢') plt.show() # 平均票價最貴的前十名電影 print(data.sort_values(by='平均票價', ascending=False)[['年份', '電影名稱', '平均票價']].head(10)) # 平均場次最高的前十名電影 print(data.sort_values(by='平均場次', ascending=False)[['年份', '電影名稱', '平均場次']].head(10)) if __name__ == '__main__': # 創建保存數據的csv文件 with open('07.csv', 'w', encoding='utf-8',newline='') as f: csvwriter = csv.writer(f) # 添加文件表頭 csvwriter.writerow(('排名', '電影名稱', '上映時間', '總票房(萬)', '平均票價', '平均場次')) main() # 數據分析 data_analyze()
從年度上榜電影票房占比來看,2019年占比最高,說明2019年這一年的電影質量都很不錯,上榜電影多而且票房高。
從趨勢來看,從2016年到2019年,上榜電影總票房一直在增長,到2019年達到頂峰,說明這一年電影是非常的火爆,但是從2020年急劇下滑,最大的原因應該是這一年年初開始爆發疫情,導致賀歲檔未初期上映,而且由於疫情影響,電影院一直處於關閉狀態,所以這一年票房慘淡。
這篇關於Python7個爬蟲小案例詳解(附源碼)下篇的文章就介紹到這瞭,其他兩個部分的內容(上、中篇)請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章。
好瞭,本次七個案例的分享到此全部結束,希望對剛入手爬蟲的小夥伴有所幫助。
希望大傢以後多多支持WalkonNet!
推薦閱讀:
- Python編程使用Selenium模擬淘寶登錄實現過程
- python爬蟲利用selenium實現自動翻頁爬取某魚數據的思路詳解
- Python+selenium實現趣頭條的視頻自動上傳與發佈
- Python selenium 實例之通過 selenium 查詢禪道是否有任務或者BUG
- Python+selenium 自動化快手短視頻發佈的實現過程