python逆向微信指數爬取實現步驟

Posted on by

微信指數爬取 

Appium + mitmproxy + 網易mumu安卓模擬器實現微信指數小程序爬取

通過appium實現將指令傳輸給手機進行相關的操作,mitmproxy運行Python腳本過濾出相關的請求,安卓模擬器取代真機使項目可以更好的落地。

1.MAC系統Appium的環境搭建

1. homebrew的安裝

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

2. 通過brew安裝node

brew install node

檢查node是否安裝成功

node -v

3. 安裝npm

sudo bash
sudo curl -L https://npmjs.org/install.sh | sh

檢查npm是否安裝完成

npm -v

4. 安裝android-sdk-macosx

鏈接: android-sdk-macosx.
下載完成因sdk缺少對應的platform-tools和build-tools 執行命令在彈出窗口進行勾選下載platform-tools和build-tools

在這裡插入圖片描述

5. 安裝jdk

去官網下載：下載地址為直接下載dmg去安裝

鏈接:JDK

6. 環境變量配置

可參考以下配置

cd ~
vi .bash_profile

JAVA_HOME=/Library/java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
CLASSPAHT=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH:
export JAVA_HOME
export CLASSPATH
export PATH
export ANDROID_HOME=/Users/admin/Desktop/android-sdk-macosx
export PATH=$PATH:$ANDROID_HOME/tools
export PATH=$PATH:$ANDROID_HOME/platform-tools

source .bash_profile

7. 安裝appium-doctor

檢查已有的環境是否都已成功

npm install -g appium-doctor

安裝完成appium-doctor 在終端輸入appium-doctor命令自動檢查appium所依賴的包是否有缺失

在這裡插入圖片描述

8. 安裝appium命令行版

npm install -g appium

appium -v 查看版本號

9. 安裝mitmproxy

（抓包，中間人代理工具、支持SSL）

brew install mitmproxy

具體用法自行研究 本文隻是簡單的使用

10.安裝網易mumu安卓模擬器

官網直接下載 有Mac版的

2.微信指數小程序爬取

1.啟動appium 在終端輸入

appium

2.啟動網易mumu安卓模擬器並安裝微信

在這裡插入圖片描述

3. 查看adb連接的設備

adb devices

首次需要先連接到模擬器 網易mumu端口號為7555 終端輸入

adb connect 127.0.0.1:7555

在這裡插入圖片描述

4. 模擬器安裝mitmproxy證書

在這裡插入圖片描述

在這裡插入圖片描述

將該證書打開在鑰匙串中找到修改全部信任
然後在模擬器中安裝 打開模擬器的設置—安全—從SD卡安裝

在這裡插入圖片描述

打開內部存儲空間—MuMu共享文件夾—將信任的證書拖進去即可

在這裡插入圖片描述

5.通過抓包發現微信指數小程序生成search_key的接口

在這裡插入圖片描述

在這裡插入圖片描述

編寫Python腳本過濾出該請求並將該請求的響應內容(search_key)寫入Mongo庫

import json
import time
import sys
from pymongo import MongoClient
def response(flow):
    client = MongoClient("xx.xx.xx.xx",27017)
    db = client["Spider"]
    url = "https://search.weixin.qq.com/cgi-bin/searchweb/weapplogin"
    if flow.request.url.startswith(url):
        text = flow.response.text
        data = json.loads(text)
        search_key = data.get("data").get("search_key")
        with open("./search_key.txt",'w+') as f:
            f.write(search_key)
        '''
        search_key 博主是入庫然後scrapy爬蟲從庫中讀search_key進行請求 具體怎麼用自己按情況即可
        '''

使用mitmdump -s xxx.py 執行Python腳本

mitmdump -s test.py

先手動點擊進入微信指數小程序觸發生成search_key的接口 此時mitmproxy運行python程序按照代碼對該請求進行過濾並將響應中的search_key取出寫入到本地文件

在這裡插入圖片描述

到瞭這一步大傢應該已經知道微信指數小程序的爬取方式瞭 在這裡說下生成search_key接口的觸發規則:首次進入微信指數小程序 2.三十分鐘search_key失效

6.編寫appium模擬點擊微信進入微信指數小程序觸發search_key指令代碼

import time
from appium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pymongo import MongoClient
PLATFORM='Android'
deviceName='emulator-5554'
# app_package和app_activity可以通過adb shell進行獲取
app_package='com.tencent.mm'
app_activity='.ui.LauncherUI'
driver_server='http://127.0.0.1:4723/wd/hub'
class Moments():
    def __init__(self):
        self.desired_caps={
        'platformName':PLATFORM,
        'deviceName':deviceName,
        'appPackage':app_package,
        'appActivity':app_activity,
        'noReset': "True",
        }
        self.driver=webdriver.Remote(driver_server,self.desired_caps)
        self.wait=WebDriverWait(self.driver,300)
    def login(self):
        # 允許獲取xx
        yunxu1 = self.wait.until(EC.presence_of_element_located((By.ID,'com.android.packageinstaller:id/permission_allow_button')))
        yunxu1.click()
        time.sleep(5)
        # 允許獲取xxx
        yunxu2 = self.wait.until(EC.presence_of_element_located((By.ID,'com.android.packageinstaller:id/permission_allow_button')))
        yunxu2.click()
        time.sleep(5)
        # 登陸按鈕
        login = self.wait.until(EC.presence_of_element_located((By.ID,'com.tencent.mm:id/d75')))
        login.click()
        time.sleep(3)
        # 手機號
        phone = self.wait.until(EC.presence_of_element_located((By.ID,'com.tencent.mm:id/hz')))
        phone.send_keys("xxxxxx")
        time.sleep(3)
        # 下一步
        nextButton = self.wait.until(EC.presence_of_element_located((By.ID,'com.tencent.mm:id/alr')))
        nextButton.click()
        time.sleep(2)
        # 密碼
        passButton = self.wait.until(EC.presence_of_element_located((By.ID,"com.tencent.mm:id/hz")))
        passButton.send_keys("xxxxx")
        time.sleep(2)
        # 登陸
        login2 = self.wait.until(EC.presence_of_element_located((By.ID,'com.tencent.mm:id/alr')))
        login2.click()
        time.sleep(6)
        # 不允許獲取通訊錄
        notButton = self.wait.until(EC.presence_of_element_located((By.ID,"com.tencent.mm:id/an2")))
        notButton.click()
        time.sleep(5)
    def test(self):
    '''
    登陸之後 依次點擊發現 小程序 微信指數 觸發接口
    '''
        time.sleep(10)
        self.driver.tap([(428,1214),(471,1251)],100)
        time.sleep(5)
        # 發現頁小程序的坐標
        self.driver.tap([(85,787),(148,816)],100)
        time.sleep(5)
        self.driver.tap([(114,237),(206,269)],100)
        time.sleep(20)
        self.driver.tap([(644,42),(708,85)],100)
    def main(self):
        # 首次登陸
        self.login()
        self.test()
M=Moments()
M.main()

鄭重聲明:首次登陸以後的每次操作隻需要執行test方法點擊到發現—小程序—微信指數即可，可以通過noReset:True設置每次不重新安裝app，所以不必每次都登陸賬號導致增加不必要的操作
通過uiautomatorviewer獲取appium頁面元素進行定位

在這裡插入圖片描述

在這裡插入圖片描述

總結:

通過appium將模擬點擊的指令操控模擬器進行點擊進入微信指數的小程序觸發search_key接口的生成，然後通過mitmdump -s xx.py程序進行過濾出相應請求將響應中的search_key進行持久化 爬取數據的時候還是使用scrapy (直接使用模擬器爬取不是好的方法)。方案可能不是最好的但是比直接破解微信登錄接口、js_code(生成search_key的必要參數) 要好很多瞭

以上就是python逆向微信指數爬取實現步驟的詳細內容，更多關於python逆向微信指數爬取的資料請關註WalkonNet其它相關文章！

推薦閱讀：