Python爬蟲實例之2021貓眼票房字體加密反爬策略(粗略版)

Posted on by

前言：
貓眼票房頁面的字體加密是動態的，每次或者每天加載頁面的字體文件都會有所變化，本篇內容針對這種加密方式進行分析
字體加密原理：簡單來說就是程序員在設計網站的時候使用瞭自己設計的字體代碼對關鍵字進行編碼，在瀏覽器加載的時會根據這個字體文件對這些字體進行編碼，從而顯示出正確的字體。

已知的使用瞭字體加密的一些網站：
58同城，起點，貓眼，大眾點評，啟信寶，天眼查，實習僧，汽車之傢
本篇內容不過多解釋字體文件的映射關系，不瞭解的請自行查找其他資料。
如若還未入門爬蟲，請往這走 簡單粗暴入門法——Python爬蟲入門篇

import requests
import urllib.request as down
import json
from fontTools.ttLib import TTFont
import re
#分析用
import matplotlib.pyplot as plt #繪圖
import numpy as np # 科學計算庫

安裝：
pip install matplotlib
pip install requests
pip install numpy
pip install fonttools

首先我們對貓眼票房頁面進行簡單分析

分析

可以看到票房數字在審查中顯示的是亂碼，類似與這種情況的就可能是使用瞭字體加密，因此我們需要找到字體文件（字體文件會以鏈接方式存放在頁面中）

字體鏈接

找到瞭字體文件，下載並對映射關系進行分析，可以得到我們需要的一組基礎字形映射表；並且可以通過映射關系得到每個字形的所有坐標

baseFont=TTFont('maoyan.woff')
# 獲取相應數字的namecode和形狀坐標的關系，可用來獲取坐標
glyf=baseFont['glyf']
#通過對一份字體樣本分析得出的字體映射
baseNumberMaps={
 0:glyf['uniF632'],
 1:glyf['uniF2F1'],
 2:glyf['uniF0A4'],
 3:glyf['uniF7B7'],
 4:glyf['uniE82D'],
 5:glyf['uniF653'],
 6:glyf['uniE756'],
 7:glyf['uniF41A'],
 8:glyf['uniE79B'],
 9:glyf['uniE81E']
}
for num,name in baseNumberMaps.items():
 print(name.coordinates)

坐標

我們將坐標繪圖成圖形，在進行不同組字形圖形對比可以發現每套字形的坐標不同，大小比例不同，而字形是不變的，也就是相似

繪圖對比

對比坐標發現每套字形坐標都會有所改變，但是整體圖形還是同一個，所以我想到瞭斜率對比，我們計算每個字形部分線段的斜率，如果斜率之差小於一個數值，就說明這兩個是相同的數字。

在這裡插入圖片描述

因此就得到瞭一個思路 獲得基礎字體映射關系表爬取頁面下載所加載的字體獲得需要對比的字體映射關系表計算每套字體每個字形的線段斜率，並進行差值計算循環匹配，從基礎字形的0-9開始去匹配新字形的斜率，如果斜率之差小於0.5並且樣本數>=9我們則認為兩個圖形為同一個數字，獲得正確的字體映射關系對加密字體進行替換得到正確內容

程序實現

import requests
import urllib.request as down
import json
from fontTools.ttLib import TTFont
import re
import MyPyClass

# 得到字體斜率列表（部分）
def font_Kdict(mapstype,maps=None):
 '''
 得到字體斜率字典（部分）
 參數：
 mapstype：str->maps類型，判斷是是base/new
 maps：映射字典

 return kdict
 kdict字典關系：
 num:Klist 數字對應每條線段的斜率列表
 '''
 kdict={}
 # 遍歷maps字典，找到對應的num和namecode
 for num, namecode in maps.items():
  # 跳過無用數據
  if namecode == 'x': continue
  # 判斷類型，並從.coordinates得到對應num的所有坐標
  if mapstype=='base':coordinates = namecode.coordinates
  elif mapstype=='new':coordinates=glyf[namecode].coordinates
  # 得到坐標 X列表和坐標 Y列表
  x = [i[0] for i in coordinates]
  y = [i[1] for i in coordinates]
  Klist = []
  # 遍歷X列表並切片為前10個數據進行斜率計算，即代表繪圖的前10條線段的斜率
  for index, absx in enumerate(x[:10]):
   # 當斜率為0/1時，認為斜率為1計算
   if x[index + 1] == x[index] or y[index + 1] == y[index]:
    absxy = 1
   else:
    absxy = (y[index + 1] - y[index]) / (x[index + 1] - x[index])
   # 將斜率加入到列表
   Klist.append(-absxy if absxy < 0 else absxy)
  kdict[num]=Klist
  #print('base:', code, Klist, name)
 return kdict
# 對比斜率字典
def contrast_K(kbase,knew):
 '''
 對比斜率映射差距
 參數：
 kbase:基礎字體映射表的斜率字典
 knew:當前鏈接的字體映射表的斜率字典

 return:dict
 fontMaps:根據對比得出正確的字體映射關系字典

 '''
 fontMaps = {}
 # 遍歷kbase字典
 for base in kbase.items():
  n = 0 # 成功匹配的斜率個數
  # 遍歷knew字典
  for new in knew.items():
   # 遍歷kbase>knew>下的兩組斜率，進行大小匹配，
   # 如果斜率k的差值小於0.5，並且樣本數>=9時，認為兩個坐標圖形相識隻是大小比例不同
   # 即k<=0.5 n>=9
   for (k1,k2) in zip(base[1],new[1]):
    # k取正數
    k=k1-k2 if k1>k2 else k2-k1
    if k<=0.5:
     n+=1
     continue
    else:
     break
   if n>=9:
    # 匹配正確則添加進字典中 此時的字典關系是：code:num 代碼對應數字的關系
    fontMaps[str(hex(new[0]).replace('0x','&#x'))]=str(base[0])
    break
   n=0
 #print(fontMaps)
 return fontMaps

# 建立基礎字體對象
baseFont=TTFont('maoyan.woff')
# 獲取相應數字的namecode和形狀坐標的關系，可用來獲取坐標
glyf=baseFont['glyf']
#通過對一份字體樣本分析得出的字體映射
baseNumberMaps={
 0:glyf['uniF632'],
 1:glyf['uniF2F1'],
 2:glyf['uniF0A4'],
 3:glyf['uniF7B7'],
 4:glyf['uniE82D'],
 5:glyf['uniF653'],
 6:glyf['uniE756'],
 7:glyf['uniF41A'],
 8:glyf['uniE79B'],
 9:glyf['uniE81E']
}
url='https://piaofang.maoyan.com/dashboard-ajax?orderType=0&uuid=1778ad877f8c8-0b23bf32a2bb26-c7d6957-1fa400-1778ad877f8c8&riskLevel=71&optimusCode=10'
ua=MyPyClass.GetUserAgent()#獲得ua
# 爬取內容
with requests.get(url,headers={'user-agent':ua}) as response:
 # 獲取存放字典的json字段，並提取字體url
 fontStyle=json.loads(response.content)['fontStyle']
 fontStyle=re.findall('\"([\s\S]*?)\"',fontStyle[::-1])
 fonturl='http:'+fontStyle[0][::-1]# 字體url鏈接
 # 將加載的字體下載保存到本地，並對其進行分析
 down.urlretrieve(fonturl,'newfont.woff')
 # 爬取的電影數據內容
 content = json.loads(response.content)['movieList']['data']['list']
# 信息字典
movieNum={}#綜合票房數字典
movieDayOne= {}#上映首日數量
movieRate={}#票房占比
movieshowCount={}#排片場次
movieViewerAvg={}#場均人數
movieInfos={}
# 頁面內容
for i in content:
 moviename=i['movieInfo']['movieName']
 movieNum[moviename]=i['boxSplitUnit']['num']
 movieDayOne[moviename]=i['sumBoxDesc']
 movieRate[moviename]=i['splitBoxRate']
 movieshowCount[moviename]=i['showCount']
 movieViewerAvg[moviename]=i['avgShowView']

# 新字體對象
fontnew=TTFont('newfont.woff')
# 得到當前字體的映射關系表
newNumberMaps=fontnew.getBestCmap()
# 獲取字形
glyf=fontnew['glyf']
# 基礎字體斜率字典
k_base_dict=font_Kdict(maps=baseNumberMaps,mapstype='base')
# 新字體斜率字典
k_new_dict=font_Kdict(maps=fontnew.getBestCmap(),mapstype='new')
# 得到字體映射字典
fontcodes=contrast_K(k_base_dict,k_new_dict)
# 對加密的字體遍歷分組，並去除無用字符
for name,numbercode in movieNum.items():
 movieNum[name]=re.findall('([\S]*?);', numbercode)
# 根據得到的fontcodes映射對加密字體進行替換，得到正確數值
for index,(name,numbercodelist) in enumerate(movieNum.items()):
 num=[]
 # 替換操作
 for code in numbercodelist:
  if '.' in code:
   code=code.replace('.','')
   num.append('.'+fontcodes[code])
  else:
   num.append(fontcodes[code])
 infos=['排行:'+str(index+1),
  '片名',name,
  '上映首日',movieDayOne[name],
  '票房',''.join(num)+'萬',
  '票房占比',movieRate[name],
  '場均人數',movieViewerAvg[name]+'人',
  '排片場次',movieshowCount[name]]
 print(infos)

實現效果如下

效果

到此這篇關於Python爬蟲實例之2021貓眼票房字體加密反爬策略(粗略版)的文章就介紹到這瞭,更多相關Python爬蟲貓眼票房字體反爬內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：