Python OpenCV實現視頻追蹤

Posted on by

本文實例為大傢分享瞭Python OpenCV實現視頻追蹤的具體代碼，供大傢參考，具體內容如下

1. MeanShift

假設有一堆點集和一個圓形的小窗口。現在需要將此窗口移動到具有最高點集密度的區域，如下圖：

第一個窗口C1是藍色圓圈的區域。藍色環的中心用藍色矩形標記並命名為 C1_o。窗口中所有點的點集形成的質心在藍色圓形點C1_r。顯然，質心和環的質心不重合。移動藍色窗口，使質心與先前獲得的質心重合。在新移動的圓環的區域內再次找到圓環包圍的點集的質心，然後再次移動。通常，形心和質心不重合。繼續執行上述移動過程，直到形心與質心大致重合。這樣，最終的圓形窗口就會落到像素分佈最大的地方，也就是圖中的綠色圓圈C2。

除瞭用於視頻跟蹤之外，MeanShift算法在涉及數據和無監督學習的各種場景中都有重要的應用，例如聚類、平滑等。它是一種廣泛使用的算法。

圖像是信息矩陣。如何使用MeanShift算法跟蹤視頻中的移動物體？一般流程如下：

1）在圖像上選擇一個目標區域，

2）計算選中區域的直方圖分佈，一般是HSV顏色空間的直方圖。

3）計算下一幀圖像 b 的直方圖分佈。

4）計算圖像b中與所選區域的直方圖分佈最相似的區域，並使用MeanShift算法將所選區域沿最相似的部分移動，直到找到最相似的區域。

5）重復3到4的過程，完成整個視頻目標跟蹤。

一般情況下，我們使用直方圖反投影得到的圖像和目標物體在第一幀的起始位置。當目標物體的運動會在直方圖反投影圖像中反映出來時，MeanShift算法會將窗口移動到反投影圖像中灰度密度最高的區域。

假設我們有一個 100×100 的輸入圖像和一個 10×10 的模板圖像，直方圖反投影的過程是這樣的：

1）從輸入圖像的左上角(0,0)開始，從(0,0)到(10,10)剪切一張臨時圖像。

2）生成臨時圖像的直方圖。

3）將臨時圖像的直方圖與模板圖像的直方圖進行比較，比較結果標記為c。

4）直方圖比較結果c為結果圖像中(0,0)處的像素值。

5）將輸入圖像的臨時圖像從(0,1)剪切到(10,11)，對比直方圖，記錄結果圖像。

6）重復步驟1到5，直到輸入圖像的右下角，形成直方圖的反投影。

cv.meanShift(probImage, window, criteria)

參數：

probImage ROI區域，即目標的直方圖的反向投影。

window  初始搜索窗口，就是定義ROI的rect。

criteria 確定窗口搜索停止的準則，主要有迭代次數達到設置的最大值，窗口中心的漂移值大於某個設定的限值等。

2. CamShift

MeanShift的結果有一個問題，檢測窗口的大小是固定的，而狗是一個由近到遠逐漸變小的過程，固定的窗口是不合適的。 所以需要根據目標的大小和角度來修正窗口的大小和角度。

CamShift（Continuously Adaptive Mean-Shift algorithm）是MeanShift算法的改進算法，可以解決這個問題。它可以隨著跟蹤目標大小的變化實時調整搜索窗口的大小，具有更好的跟蹤效果。 Camshift 算法首先應用MeanShift。 一旦MeanShift收斂，它就會更新窗口的大小，同時計算出最佳擬合橢圓的方向，從而根據目標的位置和大小來更新搜索窗口。

例：使用MeanShift和CamShift方法獲取視頻中的狗，並標註。

import cv2 as cv
import numpy as np
 
# 獲取視頻
cap = cv.VideoCapture('image/DOG.wmv')
 
# 指定追蹤目標
ret, frame = cap.read()
r, h, c, w = 197, 141, 0, 208
win = (c, r, w, h)
roi = frame[r:r + h, c:c + w]
 
# 計算直方圖
hsv_roi = cv.cvtColor(roi, cv.COLOR_BGR2HSV)
roi_hist = cv.calcHist([hsv_roi], [0], None, [180], [0, 180])
cv.normalize(roi_hist, roi_hist, 0, 255, cv.NORM_MINMAX)
 
# 目標追蹤
term = (cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1)
 
# meanshift
while True:
    ret, frame = cap.read()
    if ret:
        hst = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
        dst = cv.calcBackProject([hst], [0], roi_hist, [0, 180], 1)
 
        ret, win = cv.meanShift(dst, win, term)
 
        x, y, w, h = win
        img2 = cv.rectangle(frame, (x, y), (x + w, y + h), 255, 2)
        cv.imshow("frame", img2)
        if cv.waitKey(60) & 0xFF == ord('q'):
            break
 
# camshift
while True:
    ret, frame = cap.read()
    if ret:
        hst = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
        dst = cv.calcBackProject([hst], [0], roi_hist, [0, 180], 1)
 
        ret, track_window = cv.CamShift(dst, win, term)
 
        # 繪制追蹤結果
        pts = cv.boxPoints(ret)
        pts = np.int0(pts)
        img2 = cv.polylines(frame, [pts], True, 255, 2)
        cv.imshow("frame", img2)
        if cv.waitKey(60) & 0xFF == ord('q'):
            break
 
# 釋放資源
cap.release()
cv.destroyAllWindows()

以上就是本文的全部內容，希望對大傢的學習有所幫助，也希望大傢多多支持WalkonNet。

推薦閱讀：