opencv實現機器視覺檢測和計數的方法

Posted on by

引言

在機器視覺中，有時需要對產品進行檢測和計數。其難點無非是對於產品的圖像分割。

由於之前網購的維生素片，有時候忘瞭今天有沒有吃過，就想對瓶子裡的藥片計數…在學習opencv以後，希望實現對於維生素片分割計數算法。本次實戰在基於形態學的基礎上又衍生出基於距離變換的分水嶺算法，使其實現的效果更具普遍性。

基於形態學的維生素片檢測和計數

整體思路：

  • 讀取圖片
  • 形態學處理（在二值化前進行適度形態學處理，效果俱佳）
  • 二值化
  • 提取輪廓（進行藥片分割）
  • 獲取輪廓索引，並篩選所需要的輪廓
  • 畫出輪廓，顯示計數

opencv實現：

int main(int argc, char** argv)
{
    Mat src, src_binary,dst,src_distance;
    src = imread("D:/opencv練習圖片/維生素片機器視覺檢測和計數.png");
    imshow("原圖片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(16, 16), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形態學",dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);
    vector<vector<Point>> contours;
    findContours(src_binary, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE, Point(0, 0));
    RNG rng(12345);
    double area;
    Point2i PL;
    for (size_t i = 0; i < contours.size(); i++)
    {
        area = contourArea(contours[i]);
        if (area < 500)continue;
        PL = contours[i].front();
        Scalar color = Scalar(rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255));
        drawContours(src, contours, i, color, 2, 8);
        putText(src, to_string(i), PL, FONT_HERSHEY_COMPLEX, 1, color, 2);            
    }
    imshow("計數結果", src);
    waitKey(0);
    return 0;
}

效果展示：

由上圖可以看的，原圖在經過形態學處理後，可以去除很多細節，簡化後續的藥片分割操作。

但是在計數結果圖上發現，索引17號藥片並沒有完全分割（實際上修改形態學的結構元素尺寸（改為20*20）也可以完全分離這兩個藥片）。

🤨這不由得讓我們思考，如果簡單的形態學處理分割不瞭藥片呢？

對於復雜的產品圖片，我們可以使用基於距離變換的分水嶺算法對其分割。

基於距離變換的分水嶺算法檢測和計數

OpenCV 采用瞭基於標記點的分水嶺算法，在這種算法中我們要設置哪些山谷點會匯合，哪些不會。這是一種交互式的圖像分割。我們要做的就是給我們已知的對象打上不同的標簽（即添加註水點）。然後實施分水嶺算法。每一次灌水，我們的標簽就會被更新，當兩個不同顏色的標簽相遇時就構建堤壩，直到將所有山峰淹沒，最後我們得到的邊界對象（堤壩）的值為 -1。

🙁對於如何打上標簽（即添加註水點）有兩種辦法：

opencv中，對於一張二值化的圖像，後續處理方式有兩種。第一種方式就是利用findContours、drawContours等函數進行輪廓分析（opencv以對輪廓的處理為主）。第二種方式就是計算連通域進行區域分析。

第一種（基於輪廓）：在二值化後，對圖像尋找輪廓findContours，篩選出註水區域輪廓，然後通過drawContours對輪廓標記。

第二種（基於區域）：在二值化後，先對尋找圖像中的前景圖（即註水點），再尋找到背景圖（進行膨脹），最後找到未知區域（背景減去前景，得到邊緣圖），通過connectedComponents()獲取標記點。

相關API:

分水嶺函數watershed函數原型

void watershed( InputArray image, InputOutputArray markers );

第一個輸入參數 image，必須是CV_8UC3類型圖像。

第二個輸入/輸出參數markers必須是32位單通道圖像。和image尺寸一樣。包含不同區域的輪廓，每個輪廓有一個自己唯一的編號。

😛在執行watershed函數後，算法會根據markers傳入的輪廓作為種子，對圖像上其他的像素點根據分水嶺算法規則進行判斷，並對每個像素點的區域歸屬進行劃定，直到處理完圖像上所有像素點。而區域與區域之間的分界處的值被置為“-1”，以做區分。

距離變換函數distanceTransform函數原型

距離變換運算用於計算二值化圖像中的每一個非零點距自己最近的零點的距離，距離變換圖像上越亮的點，代表瞭這一點距離零點的距離越遠。

距離變換通常用於求解圖像的骨骼和查找物體的質心（即獲取距離變換的極大值）和計算非零像素到最近零像素點的最短距離。

distanceTransform( InputArray src, OutputArray dst, int distanceType, int maskSize，int dstType = CV_32F);

第一個輸入參數src，必須是CV_8UC1類型的二值圖像（隻有0或1）

第二個輸出參數dst，表示的是計算距離的輸出圖像，輸出類型是CV_32F/CV_8U的單通道圖像，大小與輸入圖片相同。

第三個參數distanceType，表示的是選取距離的類型，可以設置為DIST_L1,DIST_L2,DIST_C

第四個參數maskSize，表示的是距離變換的掩膜模板，可以設置為3，5（常用3）

第四個參數dstType，表示輸出類型,可選擇CV_32F/CV_8U

註：若輸出類型為CV_32F，想要顯示距離變換後的骨架圖像，需要對其歸一化。（normalize）

先來看看第一種標記mark（基於輪廓）的方法：

（一）讀入圖像，形態學，二值化（消除噪聲）

    Mat src, src_binary, dst, src_distance;
    src = imread("D:/opencv練習圖片/維生素片機器視覺檢測和計數.png");
    imshow("原圖片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形態學", dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);

（二）距離變換（歸一化顯示），再二值化

   distanceTransform(src_binary, src_distance, DIST_L2, 3, 5);
    normalize(src_distance, src_distance, 0, 1, NORM_MINMAX);
    imshow("距離變換", src_distance);
    threshold(src_distance, src_distance, 0.4,1, THRESH_BINARY);
    imshow("再二值化", src_distance);

經過距離變換後的二值化，可以清晰看到，藥片以及完全分割開來。

（三）打上標簽（添加註水點）,基於輪廓

    //尋找標記點marsk的輪廓信息 也就是分水嶺的水壩
    src_distance.convertTo(src_distance, CV_8UC1);
    vector<vector<Point>> contours;    
    findContours(src_distance, contours, RETR_TREE, CHAIN_APPROX_SIMPLE);
    //創建maker
    Mat markers = Mat::zeros(src.size(), CV_32S);//  //因為分水嶺後的邊緣存儲是-1，所以必須使用有符號的CV_32S
    for (size_t t = 0; t < contours.size(); t++) 
    {
        drawContours(markers, contours, static_cast<int>(t), Scalar(static_cast<int>(t) + 1), -1);//輪廓數字編號
    }
    circle(markers, Point(5, 5), 30, Scalar(255), -1);//關鍵代碼（mark做一個小標記）
    int index1 = 0;
    //打印輪廓數據 有值的均為輪廓線
    for (int row = 0; row < markers.rows; row++)
        for (int col = 0; col < markers.cols; col++)
        {
            index1 = markers.at<int>(row, col);
            cout << index1 << ",";
        }

部分標簽markers輪廓數據截圖，可以看到0代表背景，輪廓線用正數索引標識。

（四）進行分水嶺操作，並給分水嶺後的區域隨機上色，並打印出檢測的藥片個數。

 // 生成隨機顏色
    vector<Vec3b> colors;
    for (size_t i = 0; i < contours.size(); i++) {
        int r = theRNG().uniform(0, 255);
        int g = theRNG().uniform(0, 255);
        int b = theRNG().uniform(0, 255);
        colors.push_back(Vec3b((uchar)b, (uchar)g, (uchar)r));
    }

    // 顏色填充與最終顯示
    Mat dst1 = Mat::zeros(markers.size(), CV_8UC3);
    int index = 0;
    for (int row = 0; row < markers.rows; row++) {
        for (int col = 0; col < markers.cols; col++) {
            index = markers.at<int>(row, col);
            
            if (index > 0 && index <= contours.size()) {
                dst1.at<Vec3b>(row, col) = colors[index - 1];

            }
            else {
                dst1.at<Vec3b>(row, col) = Vec3b(0, 0, 0);
            }

        }
    }
    imshow("結果顯示", dst1);
    printf("藥片檢測個數: %d\n", contours.size());

再來看看第二種標記mark（基於區域）的方法：

（一）讀入圖像，形態學，二值化（消除噪聲）

 Mat foreground, background, unkonwn;//創建前景，背景,未知區域
    Mat src, src_binary, dst, src_distance;
    src = imread("D:/opencv練習圖片/維生素片機器視覺檢測和計數.png");
    imshow("原圖片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形態學", dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);

（二）對二值化圖像進行膨脹操作，得到大部分是背景的圖片

//得到背景圖片
    dilate(src_binary, background, kernel, Point(-1, -1), 3);
    imshow("背景圖片", background);

（三）通過對二值圖像距離變換得到前景圖片（即註水點）

//距離變換
    distanceTransform(src_binary, src_distance, DIST_L2, 3, 5);
    imshow("距離變換", src_distance);
    normalize(src_distance, src_distance, 0, 255, NORM_MINMAX);
    double my_minv = 0.0, my_maxv = 0.0;
    minMaxIdx(src_binary, &my_minv, &my_maxv);
    threshold(src_distance, foreground, 0.4 * my_maxv, 255, THRESH_BINARY);
    foreground.convertTo(foreground, CV_8U);
    imshow("前景圖片", foreground);

（四）通過背景與前景的差值，得到未知區域（即邊緣所在區域）

//得到未知區域
    unkonwn = background - foreground;
    imshow("未知區域", unkonwn);

（五）得到這些區域以後，我們可以獲取註水點的標簽，通過connectedComponents實現（即獲取markers標簽）

//創建標記點markers
    Mat markers = Mat(src.size(), CV_32S);
    int num = connectedComponents(foreground, markers, 8);
    cout << num << endl;
    markers = markers + 1;
    for (int i = 0; i < unkonwn.rows; i++)
    {
        for (int j = 0; j < unkonwn.cols; j++)
        {
            if (((int)unkonwn.at<uchar>(i, j)) == 255)
            {
                markers.at<signed int>(i, j) = 0;
            }
        }
    }

詳細理解該步驟：

現在我們已經知道哪些是背景，哪些是藥片（前景區域）。

因此我們可以創建一個標簽（和原圖大小，類型為CV_32S)，通過connectedComponents函數對前景區域進行標記

該函數會對前景區域連通域分析，並將背景設定為0，其他區域從1開始正整數標記（這就是我們的種子，水漫時會從這裡漫出），結果返回給markers。

但是對於分水嶺算法，會將為0的區域認為是未知區域，因此要markers整體加一。

（六）進行分水嶺操作，並顯示邊緣

watershed(src, markers);
    for (int row = 0; row < markers.rows; row++)
    {
        for (int col = 0; col < markers.cols; col++)
        {

            if (markers.at< int>(row, col) == -1)
            {
                src.at<Vec3b>(row, col) = Vec3b(0, 0, 255);
            }
        }
    }

    imshow("結果", src);

由於分水嶺算法會將找到的邊緣在markers置為-1,因此我們對原圖操作，將索引為-1的位置的像素值改為紅色（即顯示邊緣）。

參考鏈接：

OpenCV—分水嶺算法 – 山上有風景 – 博客園 (cnblogs.com)

(8條消息) c++和opencv小知識：基於距離變換的分水嶺算法（固定流程）_夢遊城市的博客-CSDN博客

(8條消息) OpenCV分水嶺算法圖像分割_冰冰bing的博客-CSDN博客

到此這篇關於opencv實現機器視覺檢測和計數的方法的文章就介紹到這瞭,更多相關opencv 機器視覺檢測和計數 內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：