Python爬蟲之爬取2020女團選秀數據

一、先看結果

1.1創造營2020撐腰榜前三甲

創造營2020撐腰榜前三名分別是 希林娜依·高、陳卓璇 、鄭乃馨

>>>df1[df1['排名']<=3 ][['排名','姓名','身高','體重','生日','出生地']]
    排名      姓名     身高    體重           生日 出生地
0  1.0  希林娜依·高    NaN   NaN  1998年07月31日  新疆
1  2.0     陳卓璇  168.0  42.0  1997年08月13日  貴州
2  3.0     鄭乃馨    NaN   NaN  1997年06月25日  泰國

撐腰榜前三甲

1.2青春有你2當前官方榜前三甲

青春有你2官方榜(35進20)前三名分別是 劉雨昕、虞書欣、喻言

>>>df2[df2['排名']<=3 ][['排名','姓名','身高','體重','生日','出生地']]
      排名   姓名     身高    體重           生日 出生地
107  1.0  劉雨昕  168.0  48.0  1997年04月20日  貴陽
117  2.0  虞書欣  169.0  50.0  1995年12月18日  上海
118  3.0   喻言  172.0  50.0  1997年05月26日  北京

青春有你2當前官方前三甲

1.3Face++男女視角顏值最高

1.3.1女性視角顏值第一名

得分95.23,來自《創造營2020》的黃若元(已經告別舞臺)

>>>df.sort_values(by = 'face++女性眼中顏值',ascending = False).head(1)[['face++女性眼中顏值','姓名','來源','身高','體重','生日','出生地']]
    face++女性眼中顏值   姓名       來源  身高  體重         生日  出生地
95         95.23  黃若元  創造營2020 NaN NaN 1996-03-01  NaN

face++女性視角評分第一

1.3.2男性視角顏值第一名

得分93.773,來自《創造營2020》的孫珍妮(目前位列撐腰榜第19)

>>>df.sort_values(by = 'face++男性眼中顏值',ascending = False).head(1)[['face++男性眼中顏值','姓名','來源','身高','體重','生日','出生地']]
    face++男性眼中顏值   姓名       來源     身高  體重         生日 出生地
18        93.773  孫珍妮  創造營2020  165.0 NaN 2000-05-05  上海

Face++男性視角評分第一

1.4小姐姐們籍貫分佈(pyecharts作圖)

創造營2020的小姐姐有籍貫記錄的41位中,來自四川的有7位,江西、浙江、湖南和湖北的各3位

小姐姐省市分佈

青春有你2小姐姐來自最多的省市分別是北京、臺灣 各9名,重慶、成都各6名

小姐姐城市分佈

二、再看下統計分析

以下是整體數據部分截圖(Spyder變量查看器)

小姐姐詳情數據

因為整合的信息較多,共17個字段,我們在做分 數據指標 統分的時候隻需要用到部分即可。
在做統計分析時,這裡核心就是一個 分組統計 (df.groupby())。

>>>df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 210 entries, 0 to 209
Data columns (total 17 columns):
 #   Column        Non-Null Count  Dtype  
---  ------        --------------  -----  
 0   排名            136 non-null    float64
 1   編號            210 non-null    int64  
 2   姓名            210 non-null    object 
 3   照片            210 non-null    object 
 4   狀態            210 non-null    object 
 5   粉絲數           101 non-null    object 
 6   星座            168 non-null    object 
 7   身高            137 non-null    float64
 8   體重            120 non-null    float64
 9   出生地           149 non-null    object 
 10  生日            160 non-null    object 
 11  AI預測年齡        210 non-null    int64  
 12  AI顏值評分        210 non-null    int64  
 13  face++AI預測年齡  210 non-null    int64  
 14  face++女性眼中顏值  210 non-null    float64
 15  face++男性眼中顏值  210 non-null    float64
 16  來源            210 non-null    object 
dtypes: float64(5), int64(4), object(8)
memory usage: 28.0+ KB

2.1小姐姐出生地分佈

《創造營2020》小姐姐官方信息數據中,出生地隻有41/101個,且多以省為標尺,我們統計結果如下:

>>>pro = df1.groupby('出生地')['編號'].count().to_frame('count').sort_values(by = 'count',ascending = False).reset_index()
>>>pro.head() 
   出生地  count
0   四川   7
1   江西   3
2   浙江   3
3   湖南   3
4   湖北   3

《青春有你2》小姐姐官方數據比較全,出生地有108/109,且多以市為標尺,我們統計結果如下:

>>>city = df2.groupby('出生地')['編號'].count().to_frame('count').sort_values(by = 'count',ascending = False).reset_index()
>>>city.head()
   出生地  count
0   北京   9
1   臺灣   9
2   重慶   6
3   成都   6
4   上海   5

2.2小姐姐的出生年份分佈

出生年份我們合並數據做統一處理吧,一共有160/210份數據,我們統計結果如下:

>>>year = df.groupby('year')['編號'].count().to_frame('count').sort_values(by = 'count',ascending = False).reset_index()
>>>year.head() 
     year  count
0  1997.0     27
1  1995.0     25
2  1996.0     24
3  1998.0     20
4  1999.0     19

2.3小姐姐星座分佈

星座分佈我們合並數據做統一處理吧,一共有168/210份數據,我們統計結果如下:

>>>conste = df.groupby('星座')['編號'].count().to_frame('count').sort_values(by = 'count',ascending = False).reset_index()
>>>conste
     星座  count
0   獅子座     23
1   天秤座     19
2   摩羯座     19
3   白羊座     16
4   雙子座     14
5   射手座     13
6   金牛座     13
7   雙魚座     11
8   天蠍座     11
9   巨蟹座     11
10  水瓶座     10
11  處女座      8

2.4小姐姐身高分佈

身高分佈我們合並數據做統一處理吧,一共有137/210份數據,我們統計結果如下:

>>>height = df.groupby('身高')['編號'].count().to_frame('count').sort_values(by = 'count',ascending = False).reset_index()
>>>height
       身高  count
0   168.0     27
1   170.0     11
2   165.0     11
3   166.0     11
4   163.0     10
5   167.0      9

身高這種屬性,咱們還可以做簡單的描述統計分析如下:

(可以看到,最高175cm,最低158cm,平均167.12cm,中位數168cm)

>>>df['身高'].describe()
count    137.000000
mean     167.124088
std        4.080883
min      158.000000
25%      165.000000
50%      168.000000
75%      170.000000
max      175.000000
Name: 身高, dtype: float64

2.5小姐姐體重分佈

體重分佈我們合並數據做統一處理吧,一共有120/210份數據,我們統計結果如下:

>>>weight = df.groupby('體重')['編號'].count().to_frame('count').sort_values(by = 'count',ascending = False).reset_index()
>>>weight.head() 
     體重  count
0  48.0     20
1  46.0     15
2  50.0     13
3  47.0     13
4  49.0     12

身高這種屬性,咱們還可以做簡單的描述統計分析如下:
(可以看到,最高87kg???,最低40kg,平均48kg,中位數48kg)

>>>df['體重'].describe()
count    120.000000
mean      48.012500
std        5.081877
min       40.000000
25%       46.000000
50%       48.000000
75%       50.000000
max       87.000000
Name: 體重, dtype: float64

趕快查一下這個87KG的妹子是誰,看瞭下照片,感覺是官網數據填錯瞭吧,應該47kg或者87斤?才對吧,算瞭不改瞭~

>>>df[df['體重']==87][['編號','姓名','來源']] 
            編號   姓名     來源
170  540476547  孫美楠  青春有你2

87KG小姐姐

2.6小姐姐顏值分佈

因為騰訊雲ai評分,過百的就有40來個,咱們還是用Face++吧

顏值評分這個因為是精確到瞭小數點後3位,所以咱們在做統分的時候,更適合先進行分箱操作

2.6.1女性角度顏值評分

先看描述統計分析結果:

(可以看到,最高95.23,最低65.596,平均83.742,中位數84.837)

>>>df['face++女性眼中顏值'].describe() 
count    210.000000
mean      83.742038
std        5.340208
min       65.596000
25%       81.028000
50%       84.837500
75%       87.449750
max       95.230000
Name: face++女性眼中顏值, dtype: float64

顏值按照60-100每10分一個檔位,我們統計結果如下:

90分以上顏值居然高達16位~

>>>beauty_bins = [60,70,80,90,100] 
>>>beauty_labels = ['60-70', '70-80', '80-90', '90-100']
>>>df['face++女-顏值區間'] = pd.cut(df['face++女性眼中顏值'], bins=beauty_bins, labels=beauty_labels)
>>>df['face++女-顏值區間'].value_counts() 
80-90     155
70-80      34
90-100     16
60-70       5
Name: face++女-顏值區間, dtype: int64

2.6.2男性角度顏值評分

先看描述統計分析結果:

(可以看到,最高93.77,最低66.404,平均82.606,中位數83.482)

>>>df['face++男性眼中顏值'].describe() 
count    210.000000
mean      82.605929
std        5.055116
min       66.404000
25%       79.699250
50%       83.482500
75%       86.409000
max       93.773000
Name: face++男性眼中顏值, dtype: float64

顏值按照60-100每10分一個檔位,我們統計結果如下:

90分以上顏值居然隻有6位~【難道男性對顏值的要求更高???】

>>>df['face++男-顏值區間'].value_counts() 
80-90     147
70-80      52
90-100      6
60-70       5
Name: face++男-顏值區間, dtype: int64

三、載入需要的庫

import requests
from fake_useragent import UserAgent
import pandas as pd
import json
from lxml import etree

3.1使用requests+json獲取小姐姐列表

通過F12在開發者界面Network—>XHR中我們可以發現真實數據請求地址(見Headers裡的General),以及請求響應的數據格式 是 json。

F12開發者模式查看源地址

參數可以在Headers裡的Query String Parameters 裡找到

於是我們可以編寫以下代碼進行數據爬取

def get_Girllist():    
    url = 'https://zbaccess.video.qq.com/fcgi/getVoteActityRankList?'    
    headers = {"User-Agent": UserAgent(verify_ssl=False).random}    
    params = {'raw': 1,
               'vappid': 51902973,
               'vsecret': '14816bd3d3bb7c03d6fd123b47541a77d0c7ff859fb85f21',
               'actityId': 107015,
               'pageSize': 101,
               'vplatform': 3,
               'listFlag': 0,
               'pageContext':'' ,
               'ver': 1,
               #以下兩個時間戳參數可以省略
               '_t': 1590324974706,
               '_': 1590324974708
        }
    #請求數據
    re = requests.get(url,headers = headers,params = params) 
    #用json解析json數據成字典   
    data = json.loads(re.text)
    
    Li_list = data['data']['itemList']
    
    rank = 0
    data_list = []
    
    #獲取每個選手的基礎信息
    for li in Li_list:
        rank += 1
        item = {}
        #獲取基礎信息
        item['當前排名'] = rank
        item['選手編號'] = li['itemInfo']['id']
        item['選手姓名'] = li['itemInfo']['name']
        item['選手照片'] = li['itemInfo']['mapData']['poster_pic']
        item['選手狀態'] = li['statusInfo']['voteBtnTxt']
        
        #獲取選手doki頁,需要傳遞選手編號id信息用於循環請求
        #根據選手編號id到選手doki頁面獲取粉絲數、星座、身高、生日等基礎個人信息
        #簡單的靜態頁面,這裡用到xpath做解析
        id_ = item['選手編號']
        #調用獲取選手doki頁數據的函數,具體見get_Girlinfo函數
        html = get_Girlinfo(id_)
        item['粉絲數'] = html.xpath('.//div[@class="followers_count"]/text()')[0]
        info = html.xpath('.//div[@class="wiki_info_1"]//span[@class="content"]/text()')
        item['星座'] = info[-5]
        item['身高'] = info[-3]
        item['體重'] = info[-2]
        item['出生地'] = info[-1]
        info2 = html.xpath('.//div[@class="wiki_info_2"]//span[@class="content"]/text()')
        item['生日'] = info2[0]

        url_ai = item['選手照片']
        #獲取騰訊雲AI顏值評分
        age,beauty = txfaceScore(url_ai) 
        item['AI預測年齡'] = age
        item['AI顏值評分'] = beauty
        #獲取face++顏值評分
        faceage,beauty_w,beauty_m  = ksfaceScore(url_ai) 
        item['face++AI預測年齡'] = faceage
        item['face++女性眼中顏值'] = beauty_w
        item['face++男性眼中顏值'] = beauty_m   
        data_list.append(item)
        
    return data_list

3.2使用requests+xpath獲取小姐姐基礎信息

def get_Girlinfo(id_):
    url_ = f'https://v.qq.com/x/star/{id_}?tabid=2'
    headers = {"User-Agent": UserAgent(verify_ssl=False).random} 
    re_ = requests.get(url_,headers = headers)
    #直接獲取的數據中中文是亂碼,我們轉化一下編碼格式即可
    re_.encoding='utf-8'
    #因本次爬蟲我們解析網站源碼用到的是xpath,所以需要處理一下
    html = etree.HTML(re_.text)
    #返回處理後的網站數據源碼,在小姐姐列表中我們再行處理
    return html

四、使用requests調用api接口獲取小姐姐顏值評分

一開始我用的是騰訊雲的人臉識別,跑完數據發現101個創造營小姐姐裡有21個顏值得瞭滿分,而我喜歡的一個小姐姐朱主愛居然得分最低,那怎麼行。所以,本次我們新增瞭曠視的FACE++人臉識別做顏值評分對比。

4.1騰訊雲人臉識別

騰訊雲人臉識別需要使用到第三方庫tencentcloud-sdk-python

pip install tencentcloud-sdk-python

在進行調用的時候,需要先加載有關包

from tencentcloud.common import credential
from tencentcloud.common.profile.client_profile import ClientProfile
from tencentcloud.common.profile.http_profile import HttpProfile
from tencentcloud.common.exception.tencent_cloud_sdk_exception import TencentCloudSDKException 
from tencentcloud.iai.v20180301 import iai_client, models

#騰訊雲人臉檢測與分析
#檢測給定圖片中的人臉(Face)的位置、相應的面部屬性和人臉質量信息
#位置包括 (x,y,w,h)
#面部屬性包括性別(gender)、年齡(age)、表情(expression)、魅力(beauty)、眼鏡(glass)、發型(hair)、口罩(mask)和姿態 (pitch,roll,yaw)
#人臉質量信息包括整體質量分(score)、模糊分(sharpness)、光照分(brightness)和五官遮擋分(completeness)

在第一次使用雲 API 之前,用戶首先需要在騰訊雲控制臺上申請安全憑證,安全憑證包括 SecretID 和 SecretKey, SecretID 是用於標識 API 調用者的身份,SecretKey 是用於加密簽名字符串和服務器端驗證簽名字符串的密鑰。SecretKey 必須嚴格保管,避免泄露。

由於我們隻需要年齡和顏值評分,因此創建函數時隻需要返回age和beauty兩個字段即可。

def txfaceScore(url):
    try: 
    	# 實例化一個認證對象,入參需要傳入騰訊雲賬戶 secretId,secretKey
        cred = credential.Credential("secretId", "secretKey") 
        httpProfile = HttpProfile()
        httpProfile.endpoint = "iai.tencentcloudapi.com"
    
        clientProfile = ClientProfile()
        clientProfile.httpProfile = httpProfile
        client = iai_client.IaiClient(cred, "ap-beijing", clientProfile) 
    
        req = models.DetectFaceRequest()
        #url即我們需要做顏值評分的小姐姐照片所在網頁地址url
        param = {"Url":url,"NeedFaceAttributes":1}
        params = json.dumps(param)
        req.from_json_string(params)
    
        resp = client.DetectFace(req) 
        respstr = resp.to_json_string().replace('false','0').replace('true','1')
        respdic = eval(respstr)
        #返回的數據格式是json,所以在轉化為字典後很簡單就能找到你需要的數據
        age = respdic['FaceInfos'][0]['FaceAttributesInfo']['Age']
        beauty = respdic['FaceInfos'][0]['FaceAttributesInfo']['Beauty']
        
    except TencentCloudSDKException as err: 
        print(err)
    
    return age,beauty

4.2Face++人臉識別

接口調用很簡單,設置好你需要的請求參數(這裡我們選擇年齡和顏值:age,beauty),由於Face++顏值評分分為男女視角下的顏值分兩種,所以我們需要返回三個值:年齡、男/女視角顏值分。

具體函數見下方:

def ksfaceScore(pic_url):
    url = 'https://api-cn.faceplusplus.com/facepp/v3/detect'
    
    APIKey = '你的key' 
    APISecret = '你的secret'
    
    data = {"api_key":APIKey,
            "api_secret":APISecret,
            "image_url":pic_url,
            "return_attributes":"age,beauty"
            }
    res = requests.post(url,data = data)
    dic_ = eval(res.text)
    #返回的數據格式是json,所以在轉化為字典後很簡單就能找到你需要的數據
    age = dic_['faces'][0]['attributes']['age']['value']
    beauty_w = dic_['faces'][0]['attributes']['beauty']['female_score']
    beauty_m = dic_['faces'][0]['attributes']['beauty']['male_score']
    
    return age,beauty_w,beauty_m

到此這篇關於Python爬蟲之爬取2020女團選秀數據的文章就介紹到這瞭,更多相關python爬取女團內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!

推薦閱讀:

    None Found