python如何查找圖片按鈕的坐標位置
python查找圖片按鈕的坐標位置
因為業務需求,瞭解到一些python自動化的內容,其中有類似於airtest截圖點擊的東西。
本來是想使用pyautogui來實現獲取圖片坐標的功能,但是pyautogui對於小尺寸的圖片識別不準確,或者說是識別不到,一番查找之下,發現另一個工具,做瞭封裝如下。
1,使用pyaut
x, y=pyautogui.locateCenterOnScreen("img_path") # 如果查找到值,會返回坐標的元組,找不到返回None。上面的寫法會報錯 print(x, y) pyautogui.click(x,y) # 點擊操作
2,使用aircv
def matchImg(imgobj,confidence=0.7): """ imgobj:待查找的圖片 confidence:最低相似度 """ # 截取桌面操作,寫入內存中,不必每次都保存實體圖片 screenshotIm = screenshot(region=None) desktop = np.array(screenshotIm) imobj = ac.imread(imgobj) return ac.find_template(desktop ,imobj,confidence) if __name__ == "__main__": imgobj = 'img_path' print(matchImg(imgsrc,imgobj,confidencevalue))
返回值包含桌面大小,中心點,和待查詢圖片的四角坐標。否則為None
讀取圖片區域坐標的方法記錄
首先是導入需要使用的庫:
import cv2 import time import win32gui, win32ui, win32con import os
1、然後是獲取需要的圖片或者無需獲取,已有圖片。(可通過直接截取圖片)
'''1、窗口截圖,直接獲取當前最前面的全屏幕截圖''' def window_capture(filename,w=1920,h=1080): hwnd = 0 # 窗口的編號,0號表示當前活躍窗口 # 根據窗口句柄獲取窗口的設備上下文DC(Divice Context) hwndDC = win32gui.GetWindowDC(hwnd) # 根據窗口的DC獲取mfcDC mfcDC = win32ui.CreateDCFromHandle(hwndDC) # mfcDC創建可兼容的DC saveDC = mfcDC.CreateCompatibleDC() # 創建bigmap準備保存圖片 saveBitMap = win32ui.CreateBitmap() # 為bitmap開辟空間 saveBitMap.CreateCompatibleBitmap(mfcDC, w, h) # 高度saveDC,將截圖保存到saveBitmap中 saveDC.SelectObject(saveBitMap) # 截取從左上角(0,0)長寬為(w,h)的圖片 saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY) saveBitMap.SaveBitmapFile(saveDC, filename) return True
2、將獲取的圖片路徑,傳遞給識別圖片坐標的函數。
g_rectangle = [0, 0, 0, 0] #設置初始值坐標 clicked = False g_startPoint = [0, 0] #設置初始值獲取的坐標 def startRoi(path): cv2.namedWindow("IMG_Show", 0) # 創建畫佈 cv2.resizeWindow("IMG_Show", 1920, 1080) # 設置長和寬 cv2.setMouseCallback("IMG_Show", onMouse) # 連接鼠標 # 按"Esc"退出 print("如果想要退出窗口,點擊按鈕 ESC,退出窗口...") while cv2.waitKey(30) != 27: #監聽事件 global frame frame = cv2.imread(path,cv2.IMREAD_COLOR) #讀取圖片數據 # 畫矩形 ''' 由(x_min,x_max)組成,為繪制的邊框的左上角; (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]):設置為繪制的邊框的左上角和繪制的邊框的右下角 (0, 0, 255):指定邊框的顏色,由(B,G,R)組成,當為(255,0,0)時為綠色,可以自由設定; 1:線條的粗細值,為正值時代表線條的粗細(以像素為單位) ''' cv2.rectangle(frame, (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]), (0, 0, 255), 2) cv2.imshow("IMG_Show", frame) # cv2.destroyWindow("IMG_Show") ''' event:當前發生的鼠標事件類型 x和y:發生鼠標事件時鼠標在圖像位置的x,y坐標 flags: cv2_EVENT_FLAG_* (MouseEventFlags)類型的變量 param: 自定義的傳遞給 setMouseCallback 函數調用的參數 ''' # x和y: 發生鼠標事件時鼠標在圖像位置的x,y坐標 def onMouse(event, x, y, flags, param): global clicked global g_rectangle global g_startPoint if event == cv2.EVENT_MOUSEMOVE: # 滑動 if clicked == True: #當鼠標點擊時,打印一下信息 g_rectangle[0] = g_startPoint[0] g_rectangle[1] = g_startPoint[1] #實時獲取,對應變化後的x,y坐標 g_rectangle[2] = x g_rectangle[3] = y print("坐標:%s" % g_rectangle) # 左鍵按下事件 if event == cv2.EVENT_LBUTTONDOWN: # 左鍵點擊 #獲取鼠標第一時間點擊的坐標 g_startPoint[0] = x g_startPoint[1] = y clicked = True # 左鍵彈起事件 if event == cv2.EVENT_LBUTTONUP: # 左鍵放開 print("====================選中框的坐標:===========================") print("矩形框左上角坐標:") print(g_rectangle[0], g_rectangle[1]) print("矩形框右下角坐標:") print(g_rectangle[2], g_rectangle[3]) print("矩形框寬度:") print(g_rectangle[2]-g_rectangle[0]) print("矩形框高度:") print(g_rectangle[3]-g_rectangle[1]) clicked = False
3、通過畫佈顯示,在上面可以進行畫框 ,自動識別出圖片區域的坐標。(如下圖)
4、全部代碼展示:
''' 讀取圖片的坐標 ''' import cv2 import time import win32gui, win32ui, win32con import os '''1、窗口截圖''' def window_capture(filename,w=1920,h=1080): hwnd = 0 # 窗口的編號,0號表示當前活躍窗口 # 根據窗口句柄獲取窗口的設備上下文DC(Divice Context) hwndDC = win32gui.GetWindowDC(hwnd) # 根據窗口的DC獲取mfcDC mfcDC = win32ui.CreateDCFromHandle(hwndDC) # mfcDC創建可兼容的DC saveDC = mfcDC.CreateCompatibleDC() # 創建bigmap準備保存圖片 saveBitMap = win32ui.CreateBitmap() # 為bitmap開辟空間 saveBitMap.CreateCompatibleBitmap(mfcDC, w, h) # 高度saveDC,將截圖保存到saveBitmap中 saveDC.SelectObject(saveBitMap) # 截取從左上角(0,0)長寬為(w,h)的圖片 saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY) saveBitMap.SaveBitmapFile(saveDC, filename) return True g_rectangle = [0, 0, 0, 0] #設置初始值坐標 clicked = False g_startPoint = [0, 0] def startRoi(path): cv2.namedWindow("IMG_Show", 0) # 創建畫佈 cv2.resizeWindow("IMG_Show", 1920, 1080) # 設置長和寬 cv2.setMouseCallback("IMG_Show", onMouse) # 連接鼠標 # 按"Esc"退出 print("如果想要退出窗口,點擊按鈕 ESC,退出窗口...") while cv2.waitKey(30) != 27: #監聽事件 global frame frame = cv2.imread(path,cv2.IMREAD_COLOR) #讀取圖片數據 # 畫矩形 ''' 由(x_min,x_max)組成,為繪制的邊框的左上角; (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]):設置為繪制的邊框的左上角和繪制的邊框的右下角 (0, 0, 255):指定邊框的顏色,由(B,G,R)組成,當為(255,0,0)時為綠色,可以自由設定; 1:線條的粗細值,為正值時代表線條的粗細(以像素為單位) ''' cv2.rectangle(frame, (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]), (0, 0, 255), 2) cv2.imshow("IMG_Show", frame) # cv2.destroyWindow("IMG_Show") ''' event:當前發生的鼠標事件類型 x和y:發生鼠標事件時鼠標在圖像位置的x,y坐標 flags: cv2_EVENT_FLAG_* (MouseEventFlags)類型的變量 param: 自定義的傳遞給 setMouseCallback 函數調用的參數 ''' # x和y: 發生鼠標事件時鼠標在圖像位置的x,y坐標 def onMouse(event, x, y, flags, param): global clicked global g_rectangle global g_startPoint if event == cv2.EVENT_MOUSEMOVE: # 滑動 if clicked == True: #當鼠標點擊時,打印一下信息 g_rectangle[0] = g_startPoint[0] g_rectangle[1] = g_startPoint[1] #實時獲取,對應變化後的x,y坐標 g_rectangle[2] = x g_rectangle[3] = y print("坐標:%s" % g_rectangle) # 左鍵按下事件 if event == cv2.EVENT_LBUTTONDOWN: # 左鍵點擊 #獲取鼠標第一時間點擊的坐標 g_startPoint[0] = x g_startPoint[1] = y clicked = True # 左鍵彈起事件 if event == cv2.EVENT_LBUTTONUP: # 左鍵放開 print("====================選中框的坐標:===========================") print("矩形框左上角坐標:") print(g_rectangle[0], g_rectangle[1]) print("矩形框右下角坐標:") print(g_rectangle[2], g_rectangle[3]) print("矩形框寬度:") print(g_rectangle[2]-g_rectangle[0]) print("矩形框高度:") print(g_rectangle[3]-g_rectangle[1]) clicked = False if __name__ == '__main__': path = r"./save_img/jietu.jpg" if not os.path.isdir: os.mkdir(path) ret = window_capture(filename=path) time.sleep(0.2) if ret == True: startRoi(path)
以上為個人經驗,希望能給大傢一個參考,也希望大傢多多支持WalkonNet。