C++ OpenCV技術實戰之身份證離線識別

Posted on by

OpenCV身份證離線識別技術的主要技術就是通過OpenCV找到身份證號碼區域，然後通過OCR進行數字識別該區域的截圖即可得到身份證號碼。本地ORC使用tess-two來完成，Tesseract是C++實現的OCR引擎，在Android中使用不是很方便，需要封裝JavaAPI才能在Android平臺中進行調用，然而tess-two已經幫我們做好瞭這些事情，通過集成tess-two就可以很方便的完成文字識別。

總體思路

圖像的預處理

1、無損壓縮

首先要處理的問題就是圖片的大小不一樣，因為每臺設備的的像素或者說每個圖片的大小本身都不一樣，處理過程也會有所差異，所以首先解決的問題就是大小統一，先通過無損壓縮把圖片處理為大小一致的圖像。根據經驗值（或者說這是處理證件類的通用手法），先把圖像處理為640×400的大小。

2、灰度化

現在大部分的彩色圖像都是采用RGB顏色模式，處理圖像的時候，要分別對RGB三種分量進行處理，實際上RGB並不能反映圖像的形態特征，隻是從光學的原理上進行顏色的調配。圖像灰度化處理可以作為圖像處理的預處理步驟，為之後的圖像分割、圖像識別和圖像分析等上層操作做準備。

其實可以仔細想想，如果是處理一張RGB圖像的話，一個像素點需要同時處理3個值，灰度化之後隻需要處理一個值。如果是對比的話，一個RGB像素點就有256×256×256種可能，但是如果是對比灰度圖的像素點，則隻有256種可能，65536倍的速度提升，所以很多時候做其他圖像處理之前，先轉化為灰度圖。

圖像灰度化處理有分量法、最大值法、平均值法、加權平均法，其中用得較多的是加權平均法。由於人眼對綠色的敏感最高，對藍色敏感最低，因此，按下式對RGB三分量進行加權平均能得到較合理的灰度圖像:

3、圖像二值化

通過以上對彩色圖片進行灰度化以後，把獲取到的灰度圖像進行二值化處理。對於二值化，其目的是將目標用戶背景分類，為後續車道的識別做準備。灰度圖像二值化最常用的方法是閾值法，他利用圖像中目標與背景的差異，把圖像分別設置為兩個不同的級別，選取一個合適的閾值，以確定某像素是目標還是背景，從而獲得二值化的圖像。比如以100為閾值對圖像進行二值化操作：

f(i, j) = \left{\begin{array}{cc} 0, & (\text { gray }< = 100) \ 255, & (\text { gray }>100) \end{array}\right.

4、膨脹與腐蝕

膨脹與腐蝕屬於圖像處理中最基本的形態學運算，形態學操作就是基於形狀的一系列圖像處理操作。OpenCV為進行圖像的形態學變換提供瞭快捷且方便的函數。主要用於噪聲消除、分割出獨立的圖像元素、在圖像中連接相鄰的元素、尋找圖像中的明顯的極大值區域或極小值區域、求出圖像的梯度。

簡單理解，膨脹就是求局部最大值的操作。腐蝕就是求局部最小值的操作。在處理身份證的時候，我們希望把身份證號碼等數字區域連接在一起，即在圖像中連接相鄰的元素，所以需要使用膨脹處理，就跟蒸饅頭的酵母粉一樣，可以是我們想要的元素膨脹並且黏合在一起。

5、輪廓檢測與圖像分割

通過圖像的膨脹操作，身份證號碼區域已經被連接在一起瞭，目前需要做的事情就是檢測出該區域的輪廓，使用拉普拉斯算子可以完成這個操作，OpenCV內部也提供瞭findContours函數做輪廓檢測。

那麼如何分割出身份證號碼區域呢？其實有一個非常簡單的思路，由於身份證號碼是一串不換行的數字，寬高比通常是大於9:1的，而且是位於最後一行的，如果有其他的部分的寬高比大於9:1但是卻不是位於最後，那麼也不能認為是身份證號碼，隻有坐標是最底部，而且寬高比滿足大於9:1的條件才可以。

主要代碼

VS2022 + OpenCV4.5.4

#include <iostream>
#include <opencv2/opencv.hpp>
#include <vector>

#define DEFAULT_CARD_WIDTH 640
#define DEFAULT_CARD_HEIGHT 400

#define FIX_IDCARD_SIZE Size(DEFAULT_CARD_WIDTH, DEFAULT_CARD_HEIGHT)

#define FIX_TEMPLATE_SIZE Size(153, 28)

using namespace std;
using namespace cv;

int main() {
    std::cout << "Hello, World!" << std::endl;
    Mat src = imread("src.png");
    imshow("src", src);

    //處理身份證
    Mat src_img = src;
    //1、無損壓縮 640*400 （通用卡片類的處理方式）
    resize(src_img, src_img, FIX_IDCARD_SIZE);
    imshow("dst", src_img);
    
    Mat dst_img;
    //2、灰度化
    Mat dst;
    cvtColor(src_img, dst, COLOR_BGR2GRAY);
    imshow("gray", dst);
    
    //3、二值化（降噪）
    threshold(dst, dst, 100, 255, THRESH_BINARY);
    imshow("threshold", dst);
    
    // 4.1 腐蝕、膨脹
    Mat erodeElement = getStructuringElement(MORPH_RECT, Size(20, 10));
    erode(dst, dst, erodeElement);
    imshow("erode", dst);

    //4、輪廓檢測，把所有的連續的閉包用矩形包起來
    /*
     * 一個矩形用兩個點表示，contours就包含瞭很多矩形
     */
    vector<vector<Point>> contours;
    vector<Rect> rects;
    
    findContours(dst, contours, RETR_TREE, CHAIN_APPROX_SIMPLE, Point(0, 0));
    
    for (size_t i = 0; i < contours.size(); i++)
    {
        // 基於兩點構建矩形
        Rect rect = boundingRect(contours.at(i));
        // 繪制矩形
        rectangle(dst, rect, Scalar(0, 0, 255));
        imshow("contours", dst);
        // 對符合條件的圖片進行篩選，寬高比大於1：9的
        if(rect.width > rect.height*9)
        {
            cout << "找到瞭" << endl;
            rects.push_back(rect);
            rectangle(dst, rect, Scalar(0, 0, 255));
    
            // 還需要再次矯正
            //dst_img = src_img(rect);
        }
    }
    
    // imshow("dst_Img", dst_img);
    
    // 如果隻找到瞭一個矩形，說明這個就是，如果多個就找出縱坐標最低的矩形
    if(rects.size() == 1)
    {
        Rect rect = rects.at(0);
        dst_img = src_img(rect);
    }else
    {
        int lowPoint = 0;
        Rect finalRect;
    
        for (size_t i = 0; i < rects.size(); ++i)
        {
            Rect rect = rects.at(i);
            Point p = rect.tl();
            if(rect.tl().y > lowPoint)
            {
                lowPoint = rect.tl().y;
                finalRect = rect;
            }
        }
    
        rectangle(dst, finalRect, Scalar(255, 255, 0));
        dst_img = src_img(finalRect);
    }
    
    
    imshow("dst_Img", dst_img);
    waitKey();
    return 0;
}

CMakeList.txt

cmake_minimum_required (VERSION 3.8)

project(opencv_idcard)

set(CMAKE_CXX_STANDARD 11)

add_executable (opencv_idcard "opencv_idcard.cpp" )

set(OpenCV_DIR "D:/develop/opencv-4.5.4/opencv-4.5.4-build")

find_package(OpenCV REQUIRED)

include_directories(${OpenCV_INCLUDE_DIRS})

target_link_libraries(opencv_idcard ${OpenCV_LIBS})

實現效果

來看看通過一系列的處理效果吧：

接下來要幹的事情就主要有兩件，首先是繼承tess-two到Android，這樣離線識別便搞定瞭，另外一件事情就是圖像預處理的代碼移植到Android上，這兩件事情完成便搞定瞭身份證號碼離線識別的功能瞭。

以上就是C++ OpenCV技術實戰之身份證離線識別的詳細內容，更多關於C++ OpenCV身份證離線識別的資料請關註WalkonNet其它相關文章！

推薦閱讀：