openCV中meanshift算法查找目標的實現
一、簡介
圖像直方圖的反向投影是一個概率分佈圖，表示一個指定圖像片段出現在特定位置的概率。當我們已知圖像中某個物體的大體位置時，可以通過概率分佈圖找到物體在另一張圖像中的準確位置。我們可以設定一個初始位置，在其周圍反復移動來提高局部匹配概率，從而找到物體的準確位置，這個實現過程叫做均值平移算法。
二、實現過程
因為人物的面部特征相對於其他位置更明顯，本次實驗主要應用於人物的面部識別。
1、設定感興趣的區域
感興趣區域的設定有兩種方式，一種是已知圖片人物臉部位置的像素坐標，通過設定矩形框來定位到人物臉部位置，另一種是使用opencv自帶的selectROI函數，手動框選自己感興趣的位置。
2、獲取臉部直方圖並做歸一化
設置一個ColorHistogram類增加一個獲取色調直方圖的函數getHueHistogram。此函數包含將圖像轉換成HSV色彩空間，屏蔽低飽和度的像素（可能用到，也可能用不到），計算圖像直方圖。
cv::Mat getHueHistogram(const cv::Mat &image2, int minSaturation = 0)
{
cv::Mat hist;
//轉換成HSV色彩空間
cv::Mat hsv;
cv::cvtColor(image2, hsv, CV_BGR2HSV);
//cv::imshow("hsv", hsv);
//掩碼（可能用的到也可能用不到)
cv::Mat mask;
if (minSaturation > 0) {
std::vector<cv::Mat>v;
cv::split(hsv, v); //將3個通道分割進3幅圖像
cv::threshold(v[1], mask, minSaturation, 255, cv::THRESH_BINARY);//屏蔽低飽和度的像素
}
//準備一維色調直方圖的參數
hranges[0] = 0.0;
hranges[1] = 180.0; //范圍是0~180
channels[0] = 0; //色調通道
//計算直方圖
cv::calcHist(&hsv, 1, //僅為一幅圖像的直方圖
channels, //使用的通道
mask, //二值掩碼
hist, //作為結果的直方圖
1, //這是一維的直方圖
histSize, //箱子數量
ranges); //像素值的范圍
return hist;
}
然後，對獲取的直方圖做歸一化。
void setHistogram(const cv::Mat& h) {
histogram = h;
cv::normalize(histogram, histogram, 1.0);
}
3、反向投影，用meanshift查找目標
打開第二張圖像，並將其轉換成HSV色彩空間（代碼中對輸入的圖像做瞭resize，避免有些圖像尺寸過大，顯示不全），然後對第一幅圖像的直方圖做反向投影。下面result是反向投影的結果，目前是框選瞭路飛的臉部作為感興趣區域，如果框選路飛的帽子，反向投影會有不一樣的效果，大傢可以自己嘗試。
//打開第二幅圖像，並轉換成HSV，對第一幅圖像的直方圖做反向投影
image = cv::imread("lufei2.JPG");
resize(image, image3, cv::Size(500, 700));
cv::cvtColor(image3, hsv, CV_BGR2HSV); //轉換成HSV色彩空間
int ch[1] = { 0 };
cv::Mat result = finder.find(hsv, 0.0f, 180.0f, ch);
使用openCV的meanshift算法可以將初始矩形區域修改成圖像人物臉部的新位置。
cv::TermCriteria criteria( cv::TermCriteria::MAX_ITER | cv::TermCriteria::EPS, 10, // 最多迭代10 次 1); // 或者重心移動距離小於1 個像素 cv::meanShift(result, rect, criteria);
至此，就找到瞭另一張圖像中人物的臉部。
三、其他實驗結果
除瞭進行從單人圖像找另一個單人圖像的實驗，還做瞭從單人圖像找多人合影的圖像，下面是對NBA球星做的一個實驗。
四、部分原理補充
本實驗為瞭突出感興趣目標特征，使用瞭HSV色彩空間的色調分量，使用CV_BGR2HSV標志轉換圖像後，得到的第一個通道就是色調分量。這是一個8位分量，值范圍為0~180（如果使用cv::cvtColor，轉換後的圖像與原始圖像的類型就會是相同的）。為瞭提取色調圖像，cv::split 函數把三通道的 HSV 圖像分割成三個單通道圖像。這三幅圖像存放在一個 std::vector 實例中，並且色調圖像是向量的第一個入口（即索引為 0）。
在使用顏色的色調分量時，要把它的飽和度考慮在內（飽和度是向量的第二個入口），當顏色的飽和度很低時，它的色調信息就會變得不穩定且不可靠。這是因為低飽和度顏色的 B、G 和 R 分量幾乎是相等的，這導致很難確定它所表示的準確顏色。因此，在 getHueHistogram 方法中使用 minSat 參數屏蔽掉飽和度低於此閾值的像素，不把它們統計進直方圖中。
均值偏移算法是一個迭代過程，用於定位概率函數的局部最大值，方法是尋找預定義窗口內部數據點的重心或加權平均值。然後，把窗口移動到重心的位置，並重復該過程，直到窗口中心收斂到一個穩定的點。OpenCV 實現該算法時定義瞭兩個停止條件：迭代次數達到最大值 （MAX_ITER）；窗口中心的偏移值小於某個限值（EPS），可認為該位置收斂到一個穩定點。這兩個條件存儲在一個 cv::TermCriteria 實例中。
五、完整代碼
#include <iostream>
#include<Windows.h>
#include<opencv2/core.hpp> //圖像數據結構的核心
#include<opencv2/highgui.hpp> //所有圖形接口函數
#include<opencv2/imgproc.hpp>
#include <opencv2/imgproc/types_c.h>
#include<opencv2/imgproc/imgproc.hpp>
#include<opencv2/opencv.hpp>
using namespace std;
using namespace cv;
//獲得色調直方圖
class ColorHistogram
{
private:
int histSize[3]; // 每個維度的大小
float hranges[2]; // 值的范圍（三個維度用同一個值）
const float* ranges[3]; // 每個維度的范圍
int channels[3]; // 需要處理的通道
public:
ColorHistogram() {
// 準備用於彩色圖像的默認參數
// 每個維度的大小和范圍是相等的
histSize[0] = histSize[1] = histSize[2] = 256;
hranges[0] = 0.0; // BGR 范圍為0~256
hranges[1] = 256.0;
ranges[0] = hranges; // 這個類中
ranges[1] = hranges; // 所有通道的范圍都相等
ranges[2] = hranges;
channels[0] = 0; // 三個通道：B
channels[1] = 1; // G
channels[2] = 2; // R
}
//計算一維直方圖，BGR的原圖轉換成HSV，忽略低飽和度的像素
cv::Mat getHueHistogram(const cv::Mat &image2, int minSaturation = 0)
{
cv::Mat hist;
//轉換成HSV色彩空間
cv::Mat hsv;
cv::cvtColor(image2, hsv, CV_BGR2HSV);
//cv::imshow("hsv", hsv);
//掩碼（可能用的到也可能用不到)
cv::Mat mask;
if (minSaturation > 0) {
std::vector<cv::Mat>v;
cv::split(hsv, v); //將3個通道分割進3幅圖像
cv::threshold(v[1], mask, minSaturation, 255, cv::THRESH_BINARY);//屏蔽低飽和度的像素
}
//準備一維色調直方圖的參數
hranges[0] = 0.0;
hranges[1] = 180.0; //范圍是0~180
channels[0] = 0; //色調通道
//計算直方圖
cv::calcHist(&hsv, 1, //僅為一幅圖像的直方圖
channels, //使用的通道
mask, //二值掩碼
hist, //作為結果的直方圖
1, //這是一維的直方圖
histSize, //箱子數量
ranges); //像素值的范圍
return hist;
}
};
class ContentFinder {
private:
// 直方圖參數
float hranges[2];
const float* ranges[3];
int channels[3];
float threshold; // 判斷閾值
cv::Mat histogram; // 輸入直方圖
public:
ContentFinder() : threshold(0.1f) {
// 本類中所有通道的范圍相同
ranges[0] = hranges;
ranges[1] = hranges;
ranges[2] = hranges;
}
// 對直方圖做歸一化
void setHistogram(const cv::Mat& h) {
histogram = h;
cv::normalize(histogram, histogram, 1.0);
}
// 查找屬於直方圖的像素
cv::Mat find(const cv::Mat& image, float minValue, float maxValue,
int *channels) {
cv::Mat result;
hranges[0] = minValue;
hranges[1] = maxValue;
// 直方圖的維度數與通道列表一致
for (int i = 0; i < histogram.dims; i++)
this->channels[i] = channels[i];
cv::calcBackProject(&image, 1, // 隻使用一幅圖像
channels, // 通道
histogram, // 直方圖
result, // 反向投影的圖像
ranges, // 每個維度的值范圍
255.0 // 選用的換算系數
// 把概率值從1 映射到255
);
cv::imshow("result", result);
return result;
}
};
int main()
{
/************均值檢測meanshift***********/
cv::Mat image = cv::imread("ZMS1.jpg");
cv::Mat image2;
cv::Mat image3;
cv::Mat hsv;
resize(image, image2, cv::Size(500, 700));
cv::Rect rect;
rect = cv::selectROI("image", image2, false, false);
cv::Mat imageROI = image2(rect).clone();//手動框選
/*cv::Rect rect(227, 108, 108, 104);
cv::Mat imageROI = image2(rect);*///手動設置矩形框選范圍
cv::rectangle(image2, rect, cv::Scalar(255, 0, 0), 1, cv::LINE_8, 0);
cv::imshow("image2", image2);
//得到人臉直方圖
int minsat = 65; //最小飽和度
ColorHistogram hc;
cv::Mat colorhist = hc.getHueHistogram(imageROI, minsat);
//把直方圖傳給ContentFinder類
ContentFinder finder;
finder.setHistogram(colorhist);//對直方圖做歸一化
//打開第二幅圖像，並轉換成HSV，對第一幅圖像的直方圖做反向投影
image = cv::imread("ZMS2.JPG");
resize(image, image3, cv::Size(500, 700));
cv::cvtColor(image3, hsv, CV_BGR2HSV); //轉換成HSV色彩空間
int ch[1] = { 0 };
cv::Mat result = finder.find(hsv, 0.0f, 180.0f, ch);
cv::TermCriteria criteria(
cv::TermCriteria::MAX_ITER | cv::TermCriteria::EPS,
10, // 最多迭代10 次
1); // 或者重心移動距離小於1 個像素
cv::meanShift(result, rect, criteria);
cv::rectangle(image3, rect, cv::Scalar(0, 255, 0), 1, cv::LINE_8, 0);
cv::imshow("image3", image3);
waitKey(0);
}
到此這篇關於openCV中meanshift算法查找目標的實現的文章就介紹到這瞭,更多相關openCV meanshift查找目標內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！
推薦閱讀：
- opencv學習筆記C++繪制灰度直方圖
- 深入瞭解Python二維直方圖
- Python OpenCV實現視頻追蹤
- python計算機視覺opencv圖像金字塔輪廓及模板匹配
- Python+OpenCV圖像處理之直方圖統計