python+opencv+selenium自動化登錄郵箱並解決滑動驗證的問題

前言

大傢做自動化登錄時可能都遇到過滑塊驗證碼需要手動驗證的問題,這次我們就來解決他

如下:

在這裡插入圖片描述


  

在我們做自動化登錄時,總會遇到各種奇奇怪怪的驗證碼,滑塊驗證碼就是其中最常見的一種。若我們的程序自動輸入賬號密碼之後,還需要我們人工去滑動驗證碼那還能稱得上是自動化嗎?
那麼先給大傢說一下我的‘解題步驟’。

1.使用selenium打開郵箱首頁。
2.定位到賬號密碼框,鍵入賬號密碼。
3.獲取驗證圖片,使用opencv處理返回滑塊應拖動的距離。
4.創建鼠標事件,模擬拖動滑塊完成驗證。

  需要解決的問題:

1.頁面元素的定位。
2.文本框和驗證碼的frame嵌套。
3.opencv處理驗證圖片缺口圖像匹配並返回距離。
4.webdriver在網頁中使用xpath時如何定位自身元素。
5.原始圖片尺寸與在網頁中的實際尺寸同比例縮放(距離的縮放)。

  OK,思路清晰上代碼!!!

  源代碼:

#滑稽研究所出品
from selenium.webdriver.common.keys import Keys
from selenium.webdriver import ActionChains
from selenium import webdriver

import requests
import time
import cv2

#下載圖片
def download_img(url,filename):
    r = requests.get(url)
    with open( filename + '.png', 'wb') as f:
        # 對於圖片類型的通過r.content方式訪問響應內容,將響應內容寫入yanzheng.png中
        f.write(r.content)
        print(filename + '下載完成')

def get_image():
    #為什麼這裡要定義全局變量?因為driver在函數內,函數運行完畢就會關閉,
    #相應的網頁也會被關閉,這就是網上很多問為什麼網頁會自動關閉的原因。
    global driver
    driver= webdriver.Chrome() #獲取瀏覽器對象
    driver.get("https://mail.qq.com/") #加載百度首頁
    #窗口最大化操作,如果窗口過小,會導致後續拖動滑塊時出現視野丟失的問題
    driver.maximize_window()
    time.sleep(2) #睡眠兩秒

    driver.find_element_by_xpath('/html/body/div/div[2]/div/div[1]/div/div[1]/div[2]').click()

    time.sleep(1)

    driver.switch_to.frame('login_frame')
    # driver.find_element_by_xpath('//*[@id="switcher_plogin"]').click()

    #輸入賬號密碼
    input=driver.find_element_by_xpath('//*[@id="u"]')#定位QQ賬號框
    time.sleep(1)
    input.send_keys("zhanghao") #搜索框輸入內容

    input=driver.find_element_by_xpath('//*[@id="p"]')#定位QQ密碼框
    input.send_keys("你的密碼") #搜索框輸入內容
    print('賬號密碼輸入完成。')
    #這裡停頓一下,不然不會顯示滑動驗證,應該是檢測自動化工具的手段。(反爬)
    time.sleep(1)
    driver.find_element_by_xpath('//*[@id="login_button"]').click()

    #註意我們這裡又需要跳到驗證碼的子框(又一個嵌套)
    time.sleep(1)
    driver.switch_to.frame('tcaptcha_iframe')
    #webdriver的定位方法和瀏覽器xpath不一樣,不能直接定位到標簽的屬性.
    #需要首先定位到webelement,之後get到屬性!!!!!!!
    bk = driver.find_element_by_xpath('//*[@id="slideBg"]').get_attribute('src')
    print(bk)
    #獲取背景和滑塊地址,下載到本地。
    key = driver.find_element_by_xpath('//*[@id="slideBlock"]').get_attribute('src')
    print(bk)

    download_img(bk,filename= 'bk')
    download_img(key,filename= 'key')

    #鎖定滑塊
    slider = driver.find_element_by_xpath('//*[@id="tcaptcha_drag_thumb"]')
    #獲取應滑動距離
    dis = get_distance()
    print(dis)

    #滑塊部分,沒有問題,已完成。
    newact =  ActionChains(driver)
    newact.click_and_hold(slider).perform()

    newact.move_by_offset(xoffset=dis-20,yoffset=0).perform()
    time.sleep(0.5)
    newact.release().perform()

#處理得到滑塊應移動的距離。
def get_distance():
    path = 'bk.png'
    img = cv2.imread(path)

    path = 'key.png'
    img2 = cv2.imread(path)

    imgContour = img.copy()
    print('img.shape:', img.shape)

    imgGray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    imgBlur = cv2.GaussianBlur(imgGray, (3, 3), 1)
    imgCanny = cv2.Canny(imgBlur, 400, 500)

    imgGray2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)
    imgBlur2 = cv2.GaussianBlur(imgGray2, (3, 3), 1)
    imgCanny2 = cv2.Canny(imgBlur2, 400, 500)

    cv2.imshow("O", imgCanny)

    # 匹配拼圖
    result = cv2.matchTemplate(imgCanny, imgCanny2, cv2.TM_CCOEFF_NORMED)

    # 歸一化
    cv2.normalize(result, result, 0, 1, cv2.NORM_MINMAX, -1)

    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)

    print('min_loc:', min_loc)
    print('max_loc:', max_loc)

    # 匹配後結果畫圈
    cv2.rectangle(imgContour, max_loc, (max_loc[0] + 135, max_loc[1] + 135), (0, 0, 255), 2)

    # 原圖為680*390 在瀏覽器resize為280*161,這裡我們隻用到寬。所以需要進行同比例縮放。
    res = min_loc[0] / (680 / 280)

    cv2.imshow("Canny Image", imgContour)
    #這裡不可以用0,因為圖片窗口會一直顯示,程序卡住無法return出距離給滑塊功能使用。
    cv2.waitKey(100)
    print('應滑動距離獲取成功。')
    return res

if __name__ == '__main__':
    get_image()

  下面是運行結果,兩種不同的驗證碼背景圖都可以正確識別出來。紅框為代碼識別缺口之後標記的紅框

在這裡插入圖片描述

在這裡插入圖片描述

  可以看到在跳出驗證碼之後,我們的程序正確的識別到瞭缺口的位置,並且正確的返回瞭縮放後的距離。模擬的鼠標事件完美的把滑塊拖動到瞭缺口的位置。提示我們驗證成功,不過我們並沒有給代碼正確的賬號和密碼因此會提醒我們賬號或密碼錯誤。大傢隻需填入正確的賬號密碼即可成功登入。非常的好用~
  需要註意一個問題,就是要保持網絡的穩定,不要有太大波動。長時間加載不出來頁面元素,就會出現獲取不到頁面元素的報錯。
  所有可能遇到的問題,我都在代碼註釋中寫瞭出來,非常詳細。隔壁老大爺看瞭之後都說好。
  那麼本期文章到這裡就結束瞭,後續有什麼問題可以私信我或者在評論區滴滴我嗷~
  給大傢比個心嗷!

到此這篇關於python+opencv+selenium自動化登錄郵箱並解決滑動驗證的問題的文章就介紹到這瞭,更多相關python selenium滑動驗證內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!

推薦閱讀: