OpenCV實現背景分離(證件照背景替換)

本文主要介紹瞭OpenCV實現背景分離(證件照背景替換),具有一定的參考價值,感興趣的可以瞭解一下

實現原理

圖像背景分離是常見的圖像處理方法之一,屬於圖像分割范疇。如何較優地提取背景區域,難點在於兩個:

  • 背景和前景的分割。針對該難點,通過人機交互等方法獲取背景色作為參考值,結合差值均方根設定合理閾值,實現前景的提取,PS上稱為蒙版;提取過程中,可能會遇到前景像素丟失的情況,對此可通過開閉運算或者提取外部輪廓線的方式,將前景內部填充完畢。
  • 前景邊緣輪廓區域的融合。如果不能很好地融合,就能看出明顯的摳圖痕跡,所以融合是很關鍵的一步。首先,對蒙版區(掩膜)進行均值濾波,其邊緣區會生成介於0-255之間的緩存區;其次,通過比例分配的方式對緩存區的像素點上色,我固定的比例為前景0.3背景0.7,因為背景為單色區,背景比例高,可以使得緩存區顏色傾向於背景區,且實現較好地過渡;最後,蒙版為0的區域上背景色,蒙版為255的區域不變。

至此,圖像實現瞭分割,完成背景分離。C++實現代碼如下。

功能函數代碼

// 背景分離
cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input)
{
	cv::Mat bgra, mask;
	// 轉化為BGRA格式,帶透明度,4通道
	cvtColor(src, bgra, COLOR_BGR2BGRA);
	mask = cv::Mat::zeros(bgra.size(), CV_8UC1);
	int row = src.rows;
	int col = src.cols;
 
	// 異常數值修正
	input.p.x = max(0, min(col, input.p.x));
	input.p.y = max(0, min(row, input.p.y));
	input.thresh = max(5, min(100, input.thresh));
	input.transparency = max(0, min(255, input.transparency));
	input.size = max(0, min(30, input.size));
 
	// 確定背景色
	uchar ref_b = src.at<Vec3b>(input.p.y, input.p.x)[0];
	uchar ref_g = src.at<Vec3b>(input.p.y, input.p.x)[1];
	uchar ref_r = src.at<Vec3b>(input.p.y, input.p.x)[2];
 
	// 計算蒙版區域(掩膜)
	for (int i = 0; i < row; ++i)
	{
		uchar *m = mask.ptr<uchar>(i);
		uchar *b = src.ptr<uchar>(i);
		for (int j = 0; j < col; ++j)
		{
			if ((geiDiff(b[3*j],b[3*j+1],b[3*j+2],ref_b,ref_g,ref_r)) >input.thresh)
			{
				m[j] = 255;
			}
		}
	}
 
	// 尋找輪廓,作用是填充輪廓內黑洞
	vector<vector<Point>> contour;
	vector<Vec4i> hierarchy;
	// RETR_TREE以網狀結構提取所有輪廓,CHAIN_APPROX_NONE獲取輪廓的每個像素
	findContours(mask, contour, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_NONE);
	drawContours(mask, contour, -1, Scalar(255), FILLED,4);
 
	// 閉運算
	cv::Mat element = getStructuringElement(MORPH_ELLIPSE, Size(5, 5));
	cv::morphologyEx(mask, mask, MORPH_CLOSE, element);
 
	// 掩膜濾波,是為瞭邊緣虛化
	cv::blur(mask, mask, Size(2 * input.size+1, 2 * input.size + 1));
 
	// 改色
	for (int i = 0; i < row; ++i)
	{
		uchar *r = bgra.ptr<uchar>(i);
		uchar *m = mask.ptr<uchar>(i);
		for (int j = 0; j < col; ++j)
		{
			// 蒙版為0的區域就是標準背景區
			if (m[j] == 0)
			{
				r[4 * j] = uchar(input.color[0]);
				r[4 * j + 1] = uchar(input.color[1]);
				r[4 * j + 2] = uchar(input.color[2]);
				r[4 * j + 3] = uchar(input.transparency);
			}
			// 不為0且不為255的區域是輪廓區域(邊緣區),需要虛化處理
			else if (m[j] != 255)
			{
				// 邊緣處按比例上色
				int newb = (r[4 * j] * m[j] * 0.3 + input.color[0] * (255 - m[j])*0.7) / ((255 - m[j])*0.7+ m[j] * 0.3);
				int newg = (r[4 * j+1] * m[j] * 0.3 + input.color[1] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
				int newr = (r[4 * j + 2] * m[j] * 0.3 + input.color[2] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
				int newt = (r[4 * j + 3] * m[j] * 0.3 + input.transparency * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
				newb = max(0, min(255, newb));
				newg = max(0, min(255, newg));
				newr = max(0, min(255, newr));
				newt = max(0, min(255, newt));
				r[4 * j] = newb;
				r[4 * j + 1] = newg;
				r[4 * j + 2] = newr;
				r[4 * j + 3] = newt;
			}
		}
	}
	return bgra;
}

C++測試代碼

#include <opencv2/opencv.hpp>
#include <iostream>
#include <algorithm>
#include <time.h>
using namespace cv;
using namespace std;
 
// 輸入參數
struct Inputparama {
	int thresh = 30;                               // 背景識別閾值,該值越小,則識別非背景區面積越大,需有合適范圍,目前為5-60
	int transparency = 255;                        // 背景替換色透明度,255為實,0為透明
	int size = 7;                                  // 非背景區邊緣虛化參數,該值越大,則邊緣虛化程度越明顯
	cv::Point p = cv::Point(0, 0);                 // 背景色采樣點,可通過人機交互獲取,也可用默認(0,0)點顏色作為背景色
	cv::Scalar color = cv::Scalar(255, 255, 255);  // 背景色
};
 
cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input);
 
// 計算差值均方根
int geiDiff(uchar b,uchar g,uchar r,uchar tb,uchar tg,uchar tr)
{	
	return  int(sqrt(((b - tb)*(b - tb) + (g - tg)*(g - tg) + (r - tr)*(r - tr))/3));
}
 
int main()
{
	cv::Mat src = imread("111.jpg");
	Inputparama input;
	input.thresh = 100;
	input.transparency = 255;
	input.size = 6;
	input.color = cv::Scalar(0, 0, 255);
 
	clock_t s, e;
	s = clock();
	cv::Mat result = BackgroundSeparation(src, input);
	e = clock();
	double dif = e - s;
	cout << "time:" << dif << endl;
 
	imshow("original", src);
	imshow("result", result);
	imwrite("result1.png", result);
	waitKey(0);
	return 0;
}
 
// 背景分離
cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input)
{
	cv::Mat bgra, mask;
	// 轉化為BGRA格式,帶透明度,4通道
	cvtColor(src, bgra, COLOR_BGR2BGRA);
	mask = cv::Mat::zeros(bgra.size(), CV_8UC1);
	int row = src.rows;
	int col = src.cols;
 
	// 異常數值修正
	input.p.x = max(0, min(col, input.p.x));
	input.p.y = max(0, min(row, input.p.y));
	input.thresh = max(5, min(100, input.thresh));
	input.transparency = max(0, min(255, input.transparency));
	input.size = max(0, min(30, input.size));
 
	// 確定背景色
	uchar ref_b = src.at<Vec3b>(input.p.y, input.p.x)[0];
	uchar ref_g = src.at<Vec3b>(input.p.y, input.p.x)[1];
	uchar ref_r = src.at<Vec3b>(input.p.y, input.p.x)[2];
 
	// 計算蒙版區域(掩膜)
	for (int i = 0; i < row; ++i)
	{
		uchar *m = mask.ptr<uchar>(i);
		uchar *b = src.ptr<uchar>(i);
		for (int j = 0; j < col; ++j)
		{
			if ((geiDiff(b[3*j],b[3*j+1],b[3*j+2],ref_b,ref_g,ref_r)) >input.thresh)
			{
				m[j] = 255;
			}
		}
	}
 
	// 尋找輪廓,作用是填充輪廓內黑洞
	vector<vector<Point>> contour;
	vector<Vec4i> hierarchy;
	// RETR_TREE以網狀結構提取所有輪廓,CHAIN_APPROX_NONE獲取輪廓的每個像素
	findContours(mask, contour, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_NONE);
	drawContours(mask, contour, -1, Scalar(255), FILLED,4);
 
	// 閉運算
	cv::Mat element = getStructuringElement(MORPH_ELLIPSE, Size(5, 5));
	cv::morphologyEx(mask, mask, MORPH_CLOSE, element);
 
	// 掩膜濾波,是為瞭邊緣虛化
	cv::blur(mask, mask, Size(2 * input.size+1, 2 * input.size + 1));
 
	// 改色
	for (int i = 0; i < row; ++i)
	{
		uchar *r = bgra.ptr<uchar>(i);
		uchar *m = mask.ptr<uchar>(i);
		for (int j = 0; j < col; ++j)
		{
			// 蒙版為0的區域就是標準背景區
			if (m[j] == 0)
			{
				r[4 * j] = uchar(input.color[0]);
				r[4 * j + 1] = uchar(input.color[1]);
				r[4 * j + 2] = uchar(input.color[2]);
				r[4 * j + 3] = uchar(input.transparency);
			}
			// 不為0且不為255的區域是輪廓區域(邊緣區),需要虛化處理
			else if (m[j] != 255)
			{
				// 邊緣處按比例上色
				int newb = (r[4 * j] * m[j] * 0.3 + input.color[0] * (255 - m[j])*0.7) / ((255 - m[j])*0.7+ m[j] * 0.3);
				int newg = (r[4 * j+1] * m[j] * 0.3 + input.color[1] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
				int newr = (r[4 * j + 2] * m[j] * 0.3 + input.color[2] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
				int newt = (r[4 * j + 3] * m[j] * 0.3 + input.transparency * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
				newb = max(0, min(255, newb));
				newg = max(0, min(255, newg));
				newr = max(0, min(255, newr));
				newt = max(0, min(255, newt));
				r[4 * j] = newb;
				r[4 * j + 1] = newg;
				r[4 * j + 2] = newr;
				r[4 * j + 3] = newt;
			}
		}
	}
	return bgra;
}

測試效果

圖1 原圖和紅底色效果圖對比

圖2 原圖和藍底色效果圖對比

圖3 原圖和透明底色效果圖對比

如源碼所示,函數輸入參數共有5項,其說明如下:

  • thresh為背景識別閾值,該值范圍為5-100,用來區分背景區和前景區,合理設置,不然可能出現前景區大片面積丟失的情況。
  • p為背景色采樣點,可通過人機交互的方式人為選中背景區顏色,默認為圖像原點的顏色。
  • color為重繪背景色。
  • transparency為重繪背景色的透明度,255為實色,0為全透明。
  • size為邊緣虛化參數,控制均值濾波的窗口尺寸,范圍為0-30。

我對比瞭百度搜索證件照一鍵改色網站的效果,基本一致,它們處理一次4塊錢,我們這是免費的,授人以魚不如授人以漁對吧,學到就是賺到。當然人傢的功能肯定更強大,估計集成瞭深度學習一類的框架,我們還需要調參。美中不足的地方就由兄弟們一起改進瞭。

細心的biliy發現瞭我貼圖的問題,如圖1圖2圖3所示,領口處被當做背景色瞭,這樣當然不行,接下來開始改進功能。

1)首先分析原因,之所以領口被當做背景色,是因為領口為白色,同背景色一致,且連接圖像邊緣處,進行輪廓分析時,錯將這個領口識別為輪廓外,如圖4所示。

 

圖4 識別失敗

2)正如圖4所示,僅僅用閉運算是無法有效補償的,如果將窗口尺寸加大還可能使其他位置過度填充,接下來考慮如何隻填充這類大洞。先將處理圖像的寬高各擴展50個pixel,這樣做的好處是令輪廓的識別更精準和清晰,並且避免瞭頭頂處因貼近圖像邊緣,而導致的過度膨脹現象。

cv::Mat tmask = cv::Mat::zeros(row + 50, col + 50, CV_8UC1);
mask.copyTo(tmask(cv::Range(25, 25 + mask.rows), cv::Range(25, 25 + mask.cols)));

3)之後進行黑帽運算,即閉運算減原圖,得到圖5。

 

圖5 黑帽運算

4)用Clear_MicroConnected_Area函數清除小面積連通區,得到圖6。

(該函數介紹見:https://www.jb51.net/article/221904.htm)

 

圖6 清除小面積連通區

5)黑帽運算結果加至原輪廓圖,並截取實際圖像尺寸。

// 黑帽運算獲取同背景色類似的區域,識別後填充
cv::Mat hat;
cv::Mat element = getStructuringElement(MORPH_ELLIPSE, Size(31, 31));
cv::morphologyEx(tmask, hat, MORPH_BLACKHAT, element);
hat.setTo(255, hat > 0);
cv::Mat hatd;
// 清除小面積區域
Clear_MicroConnected_Areas(hat, hatd, 450);
tmask = tmask + hatd;
// 截取實際尺寸
mask = tmask(cv::Range(25, 25 + mask.rows), cv::Range(25, 25 + mask.cols)).clone();

6)至此,就得到完整的輪廓瞭,如圖7所示,完整代碼見後方。

 

圖7 完整輪廓圖

完整改進代碼

#include <opencv2/opencv.hpp>
#include <iostream>
#include <algorithm>
#include <time.h>
using namespace cv;
using namespace std;
 
// 輸入參數
struct Inputparama {
	int thresh = 30;                               // 背景識別閾值,該值越小,則識別非背景區面積越大,需有合適范圍,目前為5-60
	int transparency = 255;                        // 背景替換色透明度,255為實,0為透明
	int size = 7;                                  // 非背景區邊緣虛化參數,該值越大,則邊緣虛化程度越明顯
	cv::Point p = cv::Point(0, 0);                 // 背景色采樣點,可通過人機交互獲取,也可用默認(0,0)點顏色作為背景色
	cv::Scalar color = cv::Scalar(255, 255, 255);  // 背景色
};
 
cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input);
void Clear_MicroConnected_Areas(cv::Mat src, cv::Mat &dst, double min_area);
 
// 計算差值均方根
int geiDiff(uchar b,uchar g,uchar r,uchar tb,uchar tg,uchar tr)
{	
	return  int(sqrt(((b - tb)*(b - tb) + (g - tg)*(g - tg) + (r - tr)*(r - tr))/3));
}
 
int main()
{
	cv::Mat src = imread("111.jpg");
	Inputparama input;
	input.thresh = 100;
	input.transparency = 255;
	input.size = 6;
	input.color = cv::Scalar(0, 0, 255);
 
	clock_t s, e;
	s = clock();
	cv::Mat result = BackgroundSeparation(src, input);
	e = clock();
	double dif = e - s;
	cout << "time:" << dif << endl;
 
	imshow("original", src);
	imshow("result", result);
	imwrite("result1.png", result);
	waitKey(0);
	return 0;
}
 
// 背景分離
cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input)
{
	cv::Mat bgra, mask;
	// 轉化為BGRA格式,帶透明度,4通道
	cvtColor(src, bgra, COLOR_BGR2BGRA);
	mask = cv::Mat::zeros(bgra.size(), CV_8UC1);
	int row = src.rows;
	int col = src.cols;
 
	// 異常數值修正
	input.p.x = max(0, min(col, input.p.x));
	input.p.y = max(0, min(row, input.p.y));
	input.thresh = max(5, min(200, input.thresh));
	input.transparency = max(0, min(255, input.transparency));
	input.size = max(0, min(30, input.size));
 
	// 確定背景色
	uchar ref_b = src.at<Vec3b>(input.p.y, input.p.x)[0];
	uchar ref_g = src.at<Vec3b>(input.p.y, input.p.x)[1];
	uchar ref_r = src.at<Vec3b>(input.p.y, input.p.x)[2];
 
	// 計算蒙版區域(掩膜)
	for (int i = 0; i < row; ++i)
	{
		uchar *m = mask.ptr<uchar>(i);
		uchar *b = src.ptr<uchar>(i);
		for (int j = 0; j < col; ++j)
		{
			if ((geiDiff(b[3*j],b[3*j+1],b[3*j+2],ref_b,ref_g,ref_r)) >input.thresh)
			{
				m[j] = 255;
			}
		}
	}
 
	cv::Mat tmask = cv::Mat::zeros(row + 50, col + 50, CV_8UC1);
	mask.copyTo(tmask(cv::Range(25, 25 + mask.rows), cv::Range(25, 25 + mask.cols)));
 
	// 尋找輪廓,作用是填充輪廓內黑洞
	vector<vector<Point>> contour;
	vector<Vec4i> hierarchy;
	// RETR_TREE以網狀結構提取所有輪廓,CHAIN_APPROX_NONE獲取輪廓的每個像素
	findContours(tmask, contour, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_NONE);
	drawContours(tmask, contour, -1, Scalar(255), FILLED,16);
 
	// 黑帽運算獲取同背景色類似的區域,識別後填充
	cv::Mat hat;
	cv::Mat element = getStructuringElement(MORPH_ELLIPSE, Size(31, 31));
	cv::morphologyEx(tmask, hat, MORPH_BLACKHAT, element);
	hat.setTo(255, hat > 0);
	cv::Mat hatd;
	Clear_MicroConnected_Areas(hat, hatd, 450);
	tmask = tmask + hatd;
	mask = tmask(cv::Range(25, 25 + mask.rows), cv::Range(25, 25 + mask.cols)).clone();
 
	// 掩膜濾波,是為瞭邊緣虛化
	cv::blur(mask, mask, Size(2 * input.size+1, 2 * input.size + 1));
 
	// 改色
	for (int i = 0; i < row; ++i)
	{
		uchar *r = bgra.ptr<uchar>(i);
		uchar *m = mask.ptr<uchar>(i);
		for (int j = 0; j < col; ++j)
		{
			// 蒙版為0的區域就是標準背景區
			if (m[j] == 0)
			{
				r[4 * j] = uchar(input.color[0]);
				r[4 * j + 1] = uchar(input.color[1]);
				r[4 * j + 2] = uchar(input.color[2]);
				r[4 * j + 3] = uchar(input.transparency);
			}
			// 不為0且不為255的區域是輪廓區域(邊緣區),需要虛化處理
			else if (m[j] != 255)
			{
				// 邊緣處按比例上色
				int newb = (r[4 * j] * m[j] * 0.3 + input.color[0] * (255 - m[j])*0.7) / ((255 - m[j])*0.7+ m[j] * 0.3);
				int newg = (r[4 * j+1] * m[j] * 0.3 + input.color[1] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
				int newr = (r[4 * j + 2] * m[j] * 0.3 + input.color[2] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
				int newt = (r[4 * j + 3] * m[j] * 0.3 + input.transparency * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
				newb = max(0, min(255, newb));
				newg = max(0, min(255, newg));
				newr = max(0, min(255, newr));
				newt = max(0, min(255, newt));
				r[4 * j] = newb;
				r[4 * j + 1] = newg;
				r[4 * j + 2] = newr;
				r[4 * j + 3] = newt;
			}
		}
	}
	return bgra;
}
 
void Clear_MicroConnected_Areas(cv::Mat src, cv::Mat &dst, double min_area)
{
	// 備份復制
	dst = src.clone();
	std::vector<std::vector<cv::Point> > contours;  // 創建輪廓容器
	std::vector<cv::Vec4i> 	hierarchy;
 
	// 尋找輪廓的函數
	// 第四個參數CV_RETR_EXTERNAL,表示尋找最外圍輪廓
	// 第五個參數CV_CHAIN_APPROX_NONE,表示保存物體邊界上所有連續的輪廓點到contours向量內
	cv::findContours(src, contours, hierarchy, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_NONE, cv::Point());
 
	if (!contours.empty() && !hierarchy.empty())
	{
		std::vector<std::vector<cv::Point> >::const_iterator itc = contours.begin();
		// 遍歷所有輪廓
		while (itc != contours.end())
		{
			// 定位當前輪廓所在位置
			cv::Rect rect = cv::boundingRect(cv::Mat(*itc));
			// contourArea函數計算連通區面積
			double area = contourArea(*itc);
			// 若面積小於設置的閾值
			if (area < min_area)
			{
				// 遍歷輪廓所在位置所有像素點
				for (int i = rect.y; i < rect.y + rect.height; i++)
				{
					uchar *output_data = dst.ptr<uchar>(i);
					for (int j = rect.x; j < rect.x + rect.width; j++)
					{
						// 將連通區的值置0
						if (output_data[j] == 255)
						{
							output_data[j] = 0;
						}
					}
				}
			}
			itc++;
		}
	}
}

改進效果

圖8 原圖與紅底對比圖

圖9 原圖與藍底對比圖

圖10 原圖與透明底對比圖

到此這篇關於OpenCV實現背景分離(證件照背景替換)的文章就介紹到這瞭,更多相關OpenCV 背景分離內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!

推薦閱讀: