python利用Appium實現自動控制移動設備並提取數據功能

Posted on by

以控制抖音app滑動並獲取抖音短視頻發佈者昵稱和點贊數等信息為例：

在這裡插入圖片描述

1. 安裝appium-python-client模塊並啟動已安裝好的環境

 1.1 安裝appium-python-client模塊

在window的虛擬環境下執行pip install appium-python-client

1.2 啟動夜神模擬器

進入夜神模擬器所在的安裝路徑的bin目錄下，進入cmd終端，使用adb命令建立adb server和模擬器的連接

1.adb devices

C:\Program Files (x86)\Nox\bin>adb devices
List of devices attached
* daemon not running; starting now at tcp:5037
* daemon started successfully

2.nox_adb.exe connect 127.0.0.1:62001

C:\Program Files (x86)\Nox\bin>nox_adb.exe connect 127.0.0.1:62001
already connected to 127.0.0.1:62001

3.adb devices

C:\Program Files (x86)\Nox\bin>adb devices
List of devices attached
127.0.0.1:62001 device

1.3 啟動appium-desktop

點擊start server啟動appium服務

[Appium] Welcome to Appium v1.10.0
[Appium] Appium REST http interface listener started on 0.0.0.0:4723

1.4 利用上一小節所學習的內容獲取Desired Capabilities參數

1.獲取模擬設備的型號

  •  打開設置——關於平板電腦
  • 查看型號，獲取模擬設備的型號

2.獲取app包名稱 以及 app進程名

  • 打開模擬器中的抖音短視頻app
  • 在adb連接正確的情況下，在夜神模擬器安裝目錄的bin目錄下的cmd中輸入adb shell
  • 進入adb shell後輸入 dumpsys activity | grep mFocusedActivity
  • “com.ss.android.ugc.aweme`就是app包名
  • .main.MainActivity就是進程名 註意前邊有個點.

2. 初始化以及獲取移動設備分辨率

完成代碼如下，並運行代碼查看效果：如果模擬器中抖音app被啟動，並打印出模擬設備的分辨率則成功

from appium import webdriver

# 初始化配置，設置Desired Capabilities參數
desired_caps = {
    'platformName': 'Android',
    'deviceName': 'SM-G955F',
    'appPackage': 'com.ss.android.ugc.aweme',
    'appActivity': '.main.MainActivity'
}
# 指定Appium Server
server = 'http://localhost:4723/wd/hub'
# 新建一個driver
driver = webdriver.Remote(server, desired_caps)
# 獲取模擬器/手機的分辨率(px)
width = driver.get_window_size()['width']
height = driver.get_window_size()['height']
print(width, height)

移動設備分辨率

  • driver.get_window_size()[‘width’]
  • driver.get_window_size()[‘height’]

3. 定位元素以及提取文本的方法

3.1 點擊appium desktop右上角的放大鏡圖標

如圖填寫配置，並點擊start session

在這裡插入圖片描述

3.2 定位界面的使用方法如下圖所示

在這裡插入圖片描述

3.3 點擊短視頻的作者名字，查看並獲取該元素的id

在這裡插入圖片描述

3.4 在python使用代碼通過元素id獲取該元素的文本內容

實例化appium driver對象後添加如下代碼，運行並查看效果

# 獲取視頻的各種信息：使用appium desktop定位元素
print(driver.find_element_by_id('bc').text)  # 發佈者名字
print(driver.find_element_by_id('al9').text)  # 點贊數
print(driver.find_element_by_id('al_').text)  # 留言數
print(driver.find_element_by_id('a23').text)  # 視頻名字，可能不存在，報錯

定位元素及獲取其文本內容的方法

  • driver.find_element_by_id(元素的id).text
  • driver.find_element_by_xpath(定位元素的xpath規則).text

4. 控制抖音app滑動

4.1 appium滑動的函數

從(start_x, start_y)滑動到(end_x, end_y)

driver.swipe(start_x, start_y, end_x, end_y) 4.2 控制抖音app滑動的代碼實現

start_x = width // 2  # 滑動的起始點的x坐標，屏幕寬度中心點
start_y = height // 3 * 2  # 滑動的起始點的y坐標，屏幕高度從上開始到下三分之二處
distance = height // 2  # y軸滑動距離：屏幕高度一半的距離
end_x = start_x # 滑動的終點的x坐標
end_y = start_y-distance # 滑動的終點的y坐標
# 滑動
driver.swipe(start_x, start_y, end_x, end_y)

5. 整理並完成自動滑動的代碼

import time
from appium import webdriver

class DouyinAction():
    """自動滑動，並獲取抖音短視頻發佈者的id"""
    def __init__(self, nums:int=None):
        # 初始化配置，設置Desired Capabilities參數
        self.desired_caps = {
            'platformName': 'Android',
            'deviceName': 'SM-G955F',
            'appPackage': 'com.ss.android.ugc.aweme',
            'appActivity': '.main.MainActivity'
        }
        # 指定Appium Server
        self.server = 'http://localhost:4723/wd/hub'
        # 新建一個driver
        self.driver = webdriver.Remote(self.server, self.desired_caps)
        # 獲取模擬器/手機的分辨率(px)
        width = self.driver.get_window_size()['width']
        height = self.driver.get_window_size()['height']
        print(width, height)
        # 設置滑動初始坐標和滑動距離
        self.start_x = width//2 # 屏幕寬度中心點
        self.start_y = height//3*2 # 屏幕高度從上開始到下三分之二處
        self.distance = height//2 # 滑動距離：屏幕高度一半的距離
        # 設置滑動次數
        self.nums = nums

    def comments(self):
        # app開啟之後點擊一次屏幕，確保頁面的展示
        time.sleep(2)
        self.driver.tap([(500, 1200)], 500)

    def scroll(self):
        # 無限滑動
        i = 0
        while True:
            # 模擬滑動
            print('滑動ing...')
            self.driver.swipe(self.start_x, self.start_y,
                              self.start_x, self.start_y-self.distance)
            time.sleep(1)
            self.get_infos() # 獲取視頻發佈者的名字
            # 設置延時等待
            time.sleep(4)
            # 判斷是否退出
            if self.nums is not None and self.nums == i:
                break
            i += 1

    def get_infos(self):
        # 獲取視頻的各種信息：使用appium desktop定位元素
        print(self.driver.find_element_by_id('bc').text) # 發佈者名字
        print(self.driver.find_element_by_id('al9').text) # 點贊數
        print(self.driver.find_element_by_id('al_').text) # 留言數
        print(self.driver.find_element_by_id('a23').text) # 視頻名字，可能不存在，報錯

        # # 點擊【分享】坐標位置 671,1058
        # self.driver.tap([(671, 1058)])
        # time.sleep(2)
        # # 向左滑動露出 【復制鏈接】 580，1100 --> 200, 1100
        # self.driver.swipe(580,1100, 20, 200, 1100)
        # # self.driver.get_screenshot_as_file('./a.png') # 截圖
        # # 點擊【復制鏈接】 距離右邊60 距離底邊170 720-60，1280-170
        # self.driver.tap([(660, 1110)])
        # # self.driver.get_screenshot_as_file('./b.png')  # 截圖

    def main(self):
        self.comments() # 點擊一次屏幕，確保頁面的展示
        time.sleep(2)
        self.scroll() # 滑動


if __name__ == '__main__':

    action = DouyinAction(nums=5)
    action.main()

至此，可以參考爬蟲5.0課程項目庫，使用fiddler等抓包工具，利用appium+mitmproxy+wget等python模塊自動獲取抖音視頻文件

6. 關於模擬式移動端爬蟲的參考閱讀

https://github.com/butomo1989/docker-android

https://blog.csdn.net/weixin_42620645/article/details/83828863

https://blog.csdn.net/weixin_39211232/article/details/83410130#Android_16

https://www.jianshu.com/p/bf1ca3d4ac76

http://www.testclass.net/appium/

小結

瞭解 appium-python-client模塊定位元素以及提取其文本內容的方法瞭解 appium-python-client模塊控制滑動動作的方法 7. 完整代碼

douyin.py

import time
from appium import webdriver

class DouyinAction():
    """自動滑動，並獲取抖音短視頻發佈者的id"""
    def __init__(self, nums:int=None):
        # 初始化配置，設置Desired Capabilities參數
        self.desired_caps = {
            'platformName': 'Android',
            'deviceName': 'SM-G955F',
            'appPackage': 'com.ss.android.ugc.aweme',
            'appActivity': '.main.MainActivity'
        }
        # 指定Appium Server
        self.server = 'http://localhost:4723/wd/hub'
        # 新建一個driver
        self.driver = webdriver.Remote(self.server, self.desired_caps)
		
        # 獲取模擬器/手機的分辨率(px)
        width = self.driver.get_window_size()['width']
        height = self.driver.get_window_size()['height']
        print(width, height)
        # 設置滑動初始坐標和滑動距離
        self.start_x = width//2 # 屏幕寬度中心點
        self.start_y = height//3*2 # 屏幕高度從上開始到下三分之二處
        self.distance = height//2 # 滑動距離：屏幕高度一半的距離
        # 設置滑動次數
        self.nums = nums

    def comments(self):
        # app開啟之後點擊一次屏幕，確保頁面的展示
        time.sleep(2)
        self.driver.tap([(500, 1200)], 500)

    def scroll(self):
    
        print('滑動ing...')
        self.driver.swipe(self.start_x, self.start_y,
                          self.start_x, self.start_y-self.distance)
        time.sleep(3)
        self.driver.find_element_by_xpath('/hierarchy/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.HorizontalScrollView/android.widget.LinearLayout/android.widget.TabHost/android.widget.FrameLayout/android.widget.FrameLayout[2]/android.widget.LinearLayout/android.widget.FrameLayout[1]').click()
        time.sleep(3)
        # 無限滑動
        i = 0
        while True:
            # 模擬滑動
            print('滑動ing...')
            self.driver.swipe(self.start_x, self.start_y,
                              self.start_x, self.start_y-self.distance)
            time.sleep(3)
            self.get_infos() # 獲取視頻發佈者的名字
            # 設置延時等待
            time.sleep(4)
            # 判斷是否退出
            if self.nums is not None and self.nums == i:
                break
            i += 1

    def get_infos(self):
        
        # 獲取視頻的各種信息：使用appium desktop定位元素
        print(self.driver.find_element_by_id('ap').text) # 發佈者名字
        print(self.driver.find_element_by_id('xm').text) # 點贊數
        print(self.driver.find_element_by_id('xn').text) # 留言數
        print(self.driver.find_element_by_id('oz').text) # 視頻名字，可能不存在，報錯

        # # 點擊【分享】坐標位置 671,1058
        # self.driver.tap([(671, 1058)])
        # time.sleep(2)
        # # 向左滑動露出 【復制鏈接】 580，1100 --> 200, 1100
        # self.driver.swipe(580,1100, 20, 200, 1100)
        # # self.driver.get_screenshot_as_file('./a.png') # 截圖
        # # 點擊【復制鏈接】 距離右邊60 距離底邊170 720-60，1280-170
        # self.driver.tap([(660, 1110)])
        # # self.driver.get_screenshot_as_file('./b.png')  # 截圖

    def main(self):
        self.comments() # 點擊一次屏幕，確保頁面的展示
        time.sleep(2)
        self.scroll() # 滑動


if __name__ == '__main__':

    action = DouyinAction(nums=5)
    action.main()

到此這篇關於python利用Appium自動控制移動設備並提取數據的文章就介紹到這瞭,更多相關python Appium提取數據內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：