用Python實現爬取百度熱搜信息

後端：
name="HQ"
前端：
<p>{{name}}長得真帥！</p>
顯示：
HQ長得真帥！

if __name__=="__main__":  #當程序執行時 調用一下函數
    main()
 

def askurl(url):
    head={
        "User-Agent":'''Mozilla/5.0 (Windows NT 10.0; Win64; x64)
         AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36 Edg/97.0.1072.55'''
    }
    #用戶代理 告訴服務器我隻是一個普普通通的瀏覽器
    requset=urllib.request.Request(url)
    #發送請求
    response=urllib.request.urlopen(requset)
    #響應的為一個request對象 
    #通過read()轉化為 bytes類型字符串
    #再通過decode()轉化為 str類型的字符串
 
    #接受響應
    html=response.read().decode('utf-8')
    
    將抓取到的網頁存入文檔中 方便觀察
    path=r"C:\Users\XXX\Desktop\Python\text.txt"   
    #這裡在字符串前加入r 防止字符串中的\發生轉義
 
    f=open(r"path",'w',encoding='utf-8')
    f.write(html)
    f.close()
    #這樣在txt文件中就可以查看網頁的源碼
 
    return html

def getData(html):
    datalist=[]
    soup=BeautifulSoup(html,"html.parser")   #定義一個解析對象
    
    #soup.find_all(a,b) 其中a為標簽的類型 class_ 對div的class進行匹配 
    #返回的是所有class為category-wrap_iQLoo horizontal_1eKyQ的列表
    
    for item in soup.find_all('div',class_="category-wrap_iQLoo horizontal_1eKyQ"):
        item=str(item)
        #將列表中每一個子標簽轉換為字符串用於re匹配

#匹配規則
#鏈接
findlink=re.compile(r' href="(.*?)" rel="external nofollow"  target="_blank') 
#標題
findtitle=re.compile(r'ellipsis"> (.*?) </div> <div cla') 
#內容
findcontent1=re.compile(r'ellipsis_DupbZ"> (.*?) <a class=')
findcontent2=re.compile(r'small_Uvkd3"> (.*?) <a class=')
#熱度
findnumber=re.compile(r'ex_1Bl1a"> (.*?) </div>')

def getData(html):
    datalist=[]
    soup=BeautifulSoup(html,"html.parser")   #定義一個解析對象
    
    #soup.find_all(a,b) 其中a為標簽的類型 class_ 對div的class進行匹配 
    #返回的是所有class為category-wrap_iQLoo horizontal_1eKyQ的列表
    
    for item in soup.find_all('div',class_="category-wrap_iQLoo horizontal_1eKyQ"):
        item=str(item)
        #將列表中每一個子標簽轉換為字符串用於re匹配
        data=[]
        #標題
        title=re.findall(findtitle,item)[0]
        #簡介
        #判斷是否對第一種匹配 如果不是的話返回為空列表 此時應采用第二種匹配
 
        if (len(re.findall(findcontent1,item))!=0):
            content=re.findall(findcontent1,item)[0]
        else:
            content=re.findall(findcontent2,item)[0]
        #熱度
        number=re.findall(findnumber,item)[0]
        #鏈接
        link=re.findall(findlink,item)[0]
 
        #將數據存入數組
        data.append(title)
        data.append(number)
        data.append(content)
        data.append(link)
        datalist.append(data)
        
    print(datalist)
    return datalist

def Savedata(datalist):
    #存入數據的目標路徑
    path=r'C:\Users\XXX\Desktop\Python\爬蟲\data.xls'
    workbook=xlwt.Workbook(encoding='utf-8')
    #創建工作表對象
    worksheet=workbook.add_sheet('sheet1')
    #創建表單 
    col=("標題","熱度","內容","鏈接")
    #定義表含有的屬性
 
    for i in range(4):
        worksheet.write(0,i,col[i])
    #write(i,j,value) 向 表單的 [i][j] 位置寫入value
    for i in range(30):
        for j in range(4):
            worksheet.write(i+1,j,datalist[i][j]) 
    #將excel表保存
    workbook.save(path)