Python圖像處理之圖像拼接

Posted on by

一、前言

圖像拼接技術就是將數張有重疊部分的圖像(可能是不同時間、不同視角或者不同傳感器獲得的)拼成一幅無縫的全景圖或高分辨率圖像的技術。

二、特征點匹配

特征點具有局部差異性

動機：特征點具有局部差異性

在這裡插入圖片描述

圖像梯度

在這裡插入圖片描述

Harris矩陣

在這裡插入圖片描述
在這裡插入圖片描述

以每個點為中心取一個窗口，窗口大小為55或者77，如果這個點具有差異性，往周圍任意方向移動，周圍的環境變化都是會比較大的，如果滿足這個特性，我們就認為這個特征點具有明顯的局部差異性。在工事中，I表示像素，如果是 彩色圖像就是RGB,灰色圖像就是灰度。(u,v)表示方向。然後對上式進行一階泰勒展開。
Harris矩陣H的特征值分析：

在這裡插入圖片描述

矩陣特征值反應瞭兩個垂直方向的變化情況，一個事變化最快的方向，一個事變化最慢的方向

在這裡插入圖片描述

在這裡插入圖片描述

興趣點位於光滑區域,不是特征點

在這裡插入圖片描述

興趣點位於邊緣區域

在這裡插入圖片描述

興趣點位於角點區域

所以檢測特征的任務轉化為計算Harris矩陣，判斷特征值大小。

在實際操作中，很少通過計算特征值來判斷，因為計算特征值計算量比較大，取而代之的是Harris角點準則。

三、匹配錯誤的特征點幹擾

在進行圖像匹配過程中，如果圖像的噪聲太大，就會使得特征點的匹配發生瞭偏差，匹配到瞭錯誤的點，這種不好的匹配效果，會對後面的圖像拼接產生很大的影響，如下圖

在這裡插入圖片描述

四、消除幹擾

為瞭進一步提升匹配精度，可以采用隨機樣本一致性（RANSAC）方法。

因為我們是使用一幅圖像（一個平面物體），我們可以將它定義為剛性的，可以在pattern image和query image的特征點之間找到單應性變換（homography transformation ）。使用cv::findHomography找到這個單應性變換，使用RANSAC找到最佳單應性矩陣。（由於這個函數使用的特征點同時包含正確和錯誤匹配點，因此計算的單應性矩陣依賴於二次投影的準確性）

五、RANSAC進行圖像匹配

RANSAC是“RANdom SAmple Consensus（隨機抽樣一致）”的縮寫。它可以從一組包含“局外點”的觀測數據集中，通過迭代方式估計數學模型的參數。它是一種不確定的算法——它有一定的概率得出一個合理的結果；為瞭提高概率必須提高迭代次數。

RANSAC的基本假設是：

（1）數據由“局內點”組成，例如：數據的分佈可以用一些模型參數來解釋；
（2）“局外點”是不能適應該模型的數據；
（3）除此之外的數據屬於噪聲。

局外點產生的原因有：噪聲的極值；錯誤的測量方法；對數據的錯誤假設。

RANSAC也做瞭以下假設：給定一組（通常很小的）局內點，存在一個可以估計模型參數的過程；而該模型能夠解釋或者適用於局內點。

RANSAC原理

OpenCV中濾除誤匹配對采用RANSAC算法尋找一個最佳單應性矩陣H，矩陣大小為3×3。RANSAC目的是找到最優的參數矩陣使得滿足該矩陣的數據點個數最多，通常令h3=1來歸一化矩陣。由於單應性矩陣有8個未知參數，至少需要8個線性方程求解，對應到點位置信息上，一組點對可以列出兩個方程，則至少包含4組匹配點對。

在這裡插入圖片描述

其中(x,y)表示目標圖像角點位置,(x’,y’)為場景圖像角點位置，s為尺度參數。

RANSAC算法從匹配數據集中隨機抽出4個樣本並保證這4個樣本之間不共線，計算出單應性矩陣，然後利用這個模型測試所有數據，並計算滿足這個模型數據點的個數與投影誤差(即代價函數)，若此模型為最優模型，則對應的代價函數最小。

RANSAC算法步驟：

1.隨機從數據集中隨機抽出4個樣本數據 (此4個樣本之間不能共線)，計算出單應矩陣H，記為模型M；

2.計算數據集中所有數據與模型M的投影誤差，若誤差小於閾值，加入內點集 I ；

3.如果當前內點集 I 元素個數大於最優內點集 I_best , 則更新 I_best = I，同時更新迭代次數k ;

4.如果迭代次數大於k,則退出 ; 否則迭代次數加1，並重復上述步驟；

註：迭代次數k在不大於最大迭代次數的情況下，是在不斷更新而不是固定的；
其中，p為置信度，一般取0.995；w為”內點”的比例 ; m為計算模型所需要的最少樣本數=4；

在這裡插入圖片描述
在這裡插入圖片描述

使用RANSAC圖片匹配

from numpy import *
from matplotlib.pyplot import *
from PIL import Image
import warp
import homography
from PCV.localdescriptors import sift

featname = ['img/' + str(i + 1) + '.sift' for i in range(5)]
imname = ['img/' + str(i + 1) + '.jpg' for i in range(5)]
l = {}
d = {}
for i in range(5):
    sift.process_image(imname[i], featname[i])
    l[i], d[i] = sift.read_features_from_file(featname[i])

matches = {}
for i in range(4):
    matches[i] = sift.match(d[i + 1], d[i])

# visualize the matches (Figure 3-11 in the book)
for i in range(4):
    im1 = array(Image.open(imname[i]))
    im2 = array(Image.open(imname[i + 1]))
    figure()
    sift.plot_matches(im2, im1, l[i + 1], l[i], matches[i], show_below=True)

# 將匹配轉換成齊次坐標點的函數
def convert_points(j):
    ndx = matches[j].nonzero()[0]
    fp = homography.make_homog(l[j + 1][ndx, :2].T)
    ndx2 = [int(matches[j][i]) for i in ndx]
    tp = homography.make_homog(l[j][ndx2, :2].T)

    # switch x and y - TODO this should move elsewhere
    fp = vstack([fp[1], fp[0], fp[2]])
    tp = vstack([tp[1], tp[0], tp[2]])
    return fp, tp


# 估計單應性矩陣
model = homography.RanSacModel()

fp, tp = convert_points(1)
H_12 = homography.H_from_ransac(fp, tp, model)[0]  # im 1 to 2
fp, tp = convert_points(0)
H_01 = homography.H_from_ransac(fp, tp, model)[0]  # im 0 to 1
tp, fp = convert_points(2)  # NB: reverse order
H_32 = homography.H_from_ransac(fp, tp, model)[0]  # im 3 to 2
tp, fp = convert_points(3)  # NB: reverse order
H_43 = homography.H_from_ransac(fp, tp, model)[0]  # im 4 to 3

# 扭曲圖像
delta = 100  # 用於填充和平移 for padding and translation

im1 = array(Image.open(imname[1]), "uint8")
im2 = array(Image.open(imname[2]), "uint8")
im_12 = warp.panorama(H_12, im1, im2, delta, delta)
im1 = array(Image.open(imname[0]), "f")
im_02 = warp.panorama(dot(H_12, H_01), im1, im_12, delta, delta)
im1 = array(Image.open(imname[3]), "f")
im_32 = warp.panorama(H_32, im1, im_02, delta, delta)
im1 = array(Image.open(imname[4]), "f")
im_42 = warp.panorama(dot(H_32, H_43), im1, im_32, delta, 2 * delta)

figure()
imshow(array(im_42, "uint8"))
axis('off')
show()

進行匹配的圖片

在這裡插入圖片描述
在這裡插入圖片描述

匹配後的圖片

在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述

六、總結

本次的拼接效果比較好，原因是因為我在同一時刻差不多角度拍攝的照片，噪聲比較小，之前一組圖片拍攝的噪聲太大，導致最後出現不瞭結果。
由圖片這部分可得，在不同時刻下拍攝照片導致天空顏色不同，在拼接的時候也會有明顯的分割線。

在這裡插入圖片描述

在實驗過程中，剛開始使用瞭一組照片，但運行不出結果，後來經過查詢找到原因是因為圖片匹配度太低，沒辦法進行匹配，後來重新拍攝瞭一組圖片最終才完成。

在這裡插入圖片描述

到此這篇關於Python圖像處理之圖像拼接的文章就介紹到這瞭,更多相關Python圖像拼接內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：