Python基於Opencv識別兩張相似圖片

在網上看到python做圖像識別的相關文章後,真心感覺python的功能實在太強大,因此將這些文章總結一下,建立一下自己的知識體系。 當然瞭,圖像識別這個話題作為計算機科學的一個分支,不可能就在本文簡單幾句就說清,所以本文隻作基本算法的科普向。 看到一篇博客是介紹這個,但他用的是PIL中的Image實現的,感覺比較麻煩,於是利用Opencv庫進行瞭更簡潔化的實現。

相關背景

要識別兩張相似圖像,我們從感性上來談是怎麼樣的一個過程?首先我們會區分這兩張相片的類型,例如是風景照,還是人物照。風景照中,是沙漠還是海洋,人物照中,兩個人是不是都是國字臉,還是瓜子臉(還是倒瓜子臉……哈哈……)。

那麼從機器的角度來說也是這樣的,先識別圖像的特征,然後再相比。

很顯然,在沒有經過訓練的計算機(即建立模型),那麼計算機很難區分什麼是海洋,什麼是沙漠。但是計算機很容易識別到圖像的像素值。

因此,在圖像識別中,顏色特征是最為常用的。(其餘常用的特征還有紋理特征、形狀特征和空間關系特征等)

其中又分為

直方圖 顏色集 顏色矩 聚合向量 相關圖

直方圖計算法

這裡先用直方圖進行簡單講述。

先借用一下戀花蝶的圖片,

[圖片上傳失敗…(image-6ca66e-1617780875489)]

從肉眼來看,這兩張圖片大概也有八成是相似的瞭。 在Python中利用opencv中的calcHist()方法獲取其直方圖數據,返回的結果是一個列表,使用matplotlib,畫出瞭這兩張圖的直方圖數據圖 如下:

是的,我們可以明顯的發現,兩張圖片的直方圖還是比較重合的。所以利用直方圖判斷兩張圖片的是否相似的方法就是,計算其直方圖的重合程度即可。 計算方法如下:

其中gi和si是分別指兩條曲線的第i個點。

最後計算得出的結果就是就是其相似程度。

不過,這種方法有一個明顯的弱點,就是他是按照顏色的全局分佈來看的,無法描述顏色的局部分佈和色彩所處的位置。

也就是假如一張圖片以藍色為主,內容是一片藍天,而另外一張圖片也是藍色為主,但是內容卻是妹子穿瞭藍色裙子,那麼這個算法也很可能認為這兩張圖片的相似的。

緩解這個弱點有一個方法就是利用Image的crop方法把圖片等分,然後再分別計算其相似度,最後綜合考慮。

圖像指紋與漢明距離

在介紹下面其他判別相似度的方法前,先補充一些概念。第一個就是圖像指紋

圖像指紋和人的指紋一樣,是身份的象征,而圖像指紋簡單點來講,就是將圖像按照一定的哈希算法,經過運算後得出的一組二進制數字。

說到這裡,就可以順帶引出漢明距離的概念瞭。

假如一組二進制數據為101,另外一組為111,那麼顯然把第一組的第二位數據0改成1就可以變成第二組數據111,所以兩組數據的漢明距離就為1

簡單點說,漢明距離就是一組二進制數據變成另一組數據所需的步驟數,顯然,這個數值可以衡量兩張圖片的差異,漢明距離越小,則代表相似度越高。漢明距離為0,即代表兩張圖片完全一樣。

如何計算得到漢明距離,請看下面三種哈希算法

平均哈希法(aHash)

此算法是基於比較灰度圖每個像素與平均值來實現的

一般步驟:

1.縮放圖片,一般大小為8*8,64個像素值。
2.轉化為灰度圖
3.計算平均值:計算進行灰度處理後圖片的所有像素點的平均值,直接用numpy中的mean()計算即可。
4.比較像素灰度值:遍歷灰度圖片每一個像素,如果大於平均值記錄為1,否則為0.
5.得到信息指紋:組合64個bit位,順序隨意保持一致性。
最後比對兩張圖片的指紋,獲得漢明距離即可。

感知哈希算法(pHash)

平均哈希算法過於嚴格,不夠精確,更適合搜索縮略圖,為瞭獲得更精確的結果可以選擇感知哈希算法,它采用的是DCT(離散餘弦變換)來降低頻率的方法

一般步驟:

  1. 縮小圖片:32 * 32是一個較好的大小,這樣方便DCT計算
  2. 轉化為灰度圖
  3. 計算DCT:利用Opencv中提供的dct()方法,註意輸入的圖像必須是32位浮點型,所以先利用numpy中的float32進行轉換
  4. 縮小DCT:DCT計算後的矩陣是32 * 32,保留左上角的8 * 8,這些代表的圖片的最低頻率
  5. 計算平均值:計算縮小DCT後的所有像素點的平均值。
  6. 進一步減小DCT:大於平均值記錄為1,反之記錄為0.
  7. 得到信息指紋:組合64個信息位,順序隨意保持一致性。

最後比對兩張圖片的指紋,獲得漢明距離即可。

dHash算法

相比pHash,dHash的速度要快的多,相比aHash,dHash在效率幾乎相同的情況下的效果要更好,它是基於漸變實現的。

步驟:

  • 縮小圖片:收縮到9*8的大小,以便它有72的像素點
  • 轉化為灰度圖
  • 計算差異值:dHash算法工作在相鄰像素之間,這樣每行9個像素之間產生瞭8個不同的差異,一共8行,則產生瞭64個差異值
  • 獲得指紋:如果左邊的像素比右邊的更亮,則記錄為1,否則為0.
  • 最後比對兩張圖片的指紋,獲得漢明距離即可

整個的代碼實現如下:

# -*- coding: utf-8 -*- 
# 利用python實現多種方法來實現圖像識別 
 
import cv2 
import numpy as np 
from matplotlib import pyplot as plt 
 
# 最簡單的以灰度直方圖作為相似比較的實現 
def classify_gray_hist(image1,image2,size = (256,256)): 
 # 先計算直方圖 
 # 幾個參數必須用方括號括起來 
 # 這裡直接用灰度圖計算直方圖,所以是使用第一個通道, 
 # 也可以進行通道分離後,得到多個通道的直方圖 
 # bins 取為16 
 image1 = cv2.resize(image1,size) 
 image2 = cv2.resize(image2,size) 
 hist1 = cv2.calcHist([image1],[0],None,[256],[0.0,255.0]) 
 hist2 = cv2.calcHist([image2],[0],None,[256],[0.0,255.0]) 
 # 可以比較下直方圖 
 plt.plot(range(256),hist1,'r') 
 plt.plot(range(256),hist2,'b') 
 plt.show() 
 # 計算直方圖的重合度 
 degree = 0 
 for i in range(len(hist1)): 
 if hist1[i] != hist2[i]: 
 degree = degree + (1 - abs(hist1[i]-hist2[i])/max(hist1[i],hist2[i])) 
 else: 
 degree = degree + 1 
 degree = degree/len(hist1) 
 return degree 
 
# 計算單通道的直方圖的相似值 
def calculate(image1,image2): 
 hist1 = cv2.calcHist([image1],[0],None,[256],[0.0,255.0]) 
 hist2 = cv2.calcHist([image2],[0],None,[256],[0.0,255.0]) 
 # 計算直方圖的重合度 
 degree = 0 
 for i in range(len(hist1)): 
 if hist1[i] != hist2[i]: 
 degree = degree + (1 - abs(hist1[i]-hist2[i])/max(hist1[i],hist2[i])) 
 else: 
 degree = degree + 1 
 degree = degree/len(hist1) 
 return degree 
 
# 通過得到每個通道的直方圖來計算相似度 
def classify_hist_with_split(image1,image2,size = (256,256)): 
 # 將圖像resize後,分離為三個通道,再計算每個通道的相似值 
 image1 = cv2.resize(image1,size) 
 image2 = cv2.resize(image2,size) 
 sub_image1 = cv2.split(image1) 
 sub_image2 = cv2.split(image2) 
 sub_data = 0 
 for im1,im2 in zip(sub_image1,sub_image2): 
 sub_data += calculate(im1,im2) 
 sub_data = sub_data/3 
 return sub_data 
 
# 平均哈希算法計算 
def classify_aHash(image1,image2): 
 image1 = cv2.resize(image1,(8,8)) 
 image2 = cv2.resize(image2,(8,8)) 
 gray1 = cv2.cvtColor(image1,cv2.COLOR_BGR2GRAY) 
 gray2 = cv2.cvtColor(image2,cv2.COLOR_BGR2GRAY) 
 hash1 = getHash(gray1) 
 hash2 = getHash(gray2) 
 return Hamming_distance(hash1,hash2) 
 
def classify_pHash(image1,image2): 
 image1 = cv2.resize(image1,(32,32)) 
 image2 = cv2.resize(image2,(32,32)) 
 gray1 = cv2.cvtColor(image1,cv2.COLOR_BGR2GRAY) 
 gray2 = cv2.cvtColor(image2,cv2.COLOR_BGR2GRAY) 
 # 將灰度圖轉為浮點型,再進行dct變換 
 dct1 = cv2.dct(np.float32(gray1)) 
 dct2 = cv2.dct(np.float32(gray2)) 
 # 取左上角的8*8,這些代表圖片的最低頻率 
 # 這個操作等價於c++中利用opencv實現的掩碼操作 
 # 在python中進行掩碼操作,可以直接這樣取出圖像矩陣的某一部分 
 dct1_roi = dct1[0:8,0:8] 
 dct2_roi = dct2[0:8,0:8] 
 hash1 = getHash(dct1_roi) 
 hash2 = getHash(dct2_roi) 
 return Hamming_distance(hash1,hash2) 
 
# 輸入灰度圖,返回hash 
def getHash(image): 
 avreage = np.mean(image) 
 hash = [] 
 for i in range(image.shape[0]): 
 for j in range(image.shape[1]): 
 if image[i,j] > avreage: 
 hash.append(1) 
 else: 
 hash.append(0) 
 return hash 
 
 
# 計算漢明距離 
def Hamming_distance(hash1,hash2): 
 num = 0 
 for index in range(len(hash1)): 
 if hash1[index] != hash2[index]: 
 num += 1 
 return num 
 
 
if __name__ == '__main__': 
 img1 = cv2.imread('10.jpg') 
 cv2.imshow('img1',img1) 
 img2 = cv2.imread('11.jpg') 
 cv2.imshow('img2',img2) 
 degree = classify_gray_hist(img1,img2) 
 #degree = classify_hist_with_split(img1,img2) 
 #degree = classify_aHash(img1,img2) 
 #degree = classify_pHash(img1,img2) 
 print degree 
 cv2.waitKey(0) 

以上就是Python基於Opencv識別兩張相似圖片的詳細內容,更多關於python識別相似圖片的資料請關註WalkonNet其它相關文章!

推薦閱讀: