关于opencv:OpenCV萌新福音易上手的数字识别实践案例

摘要： 信用卡辨认的案例用到了图像处理的一些基本操作，对刚上手 CV 的人来说还是比拟敌对的。

本文分享自华为云社区《Python openCV 案例：信用卡数字辨认》，原文作者：深蓝的回音。

前言

实际是测验真谛的唯一标准。

因为感觉一板一眼地学习 OpenCV 太过干燥，于是在网上找了一个以我的项目为导向的教程学习。话不多说，动手做起来。

一、案例介绍

提供信用卡上的数字模板：

要求：辨认出信用卡上的数字，并将其间接打印在原图片上。尽管看起来很蠢，但既然能够将数字打印在图片上，阐明曾经胜利辨认数字，因而也能够将其转换为数字文本保留。车牌号辨认等我的项目的思路与此案例相似。

示例：

原图

解决后的图

二、步骤

大抵分为如下几个步骤：
1. 模板读入
2. 模板预处理，将模板数字离开，并排序
3. 输出图像预处理，将图像中的数字局部提取进去
4. 将数字与模板数字进行匹配，匹配率最高的即为对应数字。

1、模板读入，以及一些包的导入，函数定义等

import cv2 as cv
import numpy as np
import myutils
def cv_show(name, img):        # 自定义的展现函数
    cv.imshow(name, img)
    cv.waitKey(0)
# 读入模板图
n = 'text'
img = cv.imread("images/ocr_a_reference.png")
# cv_show(n, template)        # 自定义的展现函数，不便显示图片 

2、模板预处理，将模板数字离开，并排序

模板的预处理程序：灰度图，二值化，再进行轮廓检测。须要留神的是 openCV 检测轮廓时是检测红色边框，因而要将模板图的数字二值化变为红色。

# 模板转换为灰度图
ref = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
# cv_show(n, ref)

# 转换为二值图, 把数字局部变为红色
ref = cv.threshold(ref, 10, 255, cv.THRESH_BINARY_INV)[1]  # 骚写法，函数多个返回值为元组，这里取第二个返回值
cv_show(n, ref)

# 对模板进行轮廓检测，失去轮廓信息
refCnts, hierarchy = cv.findContours(ref.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_NONE)
cv.drawContours(img, refCnts, -1, (0, 0, 255), 2)  # 第一个参数为指标图像
# cv_show(n, img)

红色局部即为检测出的轮廓。

接下来进行轮廓排序，因为检测出的轮廓是无序的，因而要依照轮廓的左上角点的 x 坐标来排序。轮廓排序后按程序放入字典，则字典中的键值对是正确匹配的，如‘0’对应轮廓 0 ,‘1’对应轮廓 1。

# 轮廓排序
refCnts = myutils.sort_contours(refCnts)[0]
digits = {}

# 单个轮廓提取到字典中
for (i, c) in enumerate(refCnts):
    (x, y, w, h) = cv.boundingRect(c)
    roi = ref[y:y + h, x:x + w]  # 在模板中复制出轮廓
    roi = cv.resize(roi, (57, 88))  # 改成雷同大小的轮廓
    digits[i] = roi  # 此时字典键对应的轮廓即为对应数字。如键‘1’对应轮廓‘1’

至此，模板图处理完毕。

3、输出图像预处理，将图像中的数字局部提取进去

在此步骤中须要将信用卡上的每个数字提取进去，并与上一步失去的模板一一匹配。首先初始化卷积核，不便之后 tophat 操作以及闭运算操作应用。

# 初始化卷积核
rectKernel = cv.getStructuringElement(cv.MORPH_RECT, (9, 3))
sqKernel = cv.getStructuringElement(cv.MORPH_RECT, (5, 5))

接下来读入图片，调整图片大小，转换为灰度图。

# 待剖析图片读入, 预处理
card_image = cv.imread("images/credit_card_01.png")
# cv_show('a', card_image)
card_image = myutils.resize(card_image, width=300)    # 更改图片大小
gray = cv.cvtColor(card_image, cv.COLOR_BGR2GRAY)
# cv_show('gray', gray)

而后进行 tophat 操作，tophat 能够突出图片中亮堂的区域，过滤掉较暗的局部：

tophat = cv.morphologyEx(gray, cv.MORPH_TOPHAT, rectKernel)
# cv_show('tophat', tophat)

再通过 sobel 算子检测边缘，进行一次闭操作，二值化，再进行一次闭操作，填补空洞。

# x 方向的 Sobel 算子
gradX = cv.Sobel(tophat, cv.CV_32F, 1, 0, ksize=3) 

gradX = np.absolute(gradX)  # absolute: 计算绝对值
min_Val, max_val = np.min(gradX), np.max(gradX)
gradX = (255 * (gradX - min_Val) / (max_val - min_Val))
gradX = gradX.astype("uint8")

# 通过闭操作（先收缩，再侵蚀）将数字连在一起.  将本是 4 个数字的 4 个框收缩成 1 个框, 就侵蚀不掉了
gradX = cv.morphologyEx(gradX, cv.MORPH_CLOSE, rectKernel)
# cv_show('close1', gradX)

# 二值化
thresh = cv.threshold(gradX, 0, 255, cv.THRESH_BINARY | cv.THRESH_OTSU)[1]

# 闭操作, 填补空洞
thresh = cv.morphologyEx(thresh, cv.MORPH_CLOSE, sqKernel)
# cv_show('close2', thresh)

之后就能够查找轮廓了。

threshCnts = cv.findContours(thresh.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)[0]
card_copy = card_image.copy()
cv.drawContours(card_copy, threshCnts, -1, (0, 0, 255), 2)
cv_show('Input_Contours', card_copy)

4、模板匹配

将模板数字和待辨认的图片都解决好后，就能够进行匹配了。

locs = []  # 存符合条件的轮廓
for i, c in enumerate(threshCnts):
    # 计算矩形
    x, y, w, h = cv.boundingRect(c)

    ar = w / float(h)
    # 抉择适合的区域，依据理论工作来，这里的根本都是四个数字一组
    if 2.5 < ar < 4.0:
        if (40 < w < 55) and (10 < h < 20):
            # 合乎的留下来
            locs.append((x, y, w, h))

# 将合乎的轮廓从左到右排序
locs = sorted(locs, key=lambda x: x[0])

接下来，遍历每一个大轮廓，每个大轮廓中有四个数字，对应四个小轮廓。将小轮廓与模板匹配。

output = []  # 存正确的数字
for (i, (gx, gy, gw, gh)) in enumerate(locs):  # 遍历每一组大轮廓 (蕴含 4 个数字)
    groupOutput = []

    # 依据坐标提取每一个组 (4 个值)
    group = gray[gy - 5:gy + gh + 5, gx - 5:gx + gw + 5]  # 往外扩一点
    # cv_show('group_' + str(i), group)
    # 预处理
    group = cv.threshold(group, 0, 255, cv.THRESH_BINARY | cv.THRESH_OTSU)[1]  # 二值化的 group
    # cv_show('group_'+str(i),group)
    # 计算每一组的轮廓 这样就分成 4 个小轮廓了
    digitCnts = cv.findContours(group.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)[0]
    # 排序
    digitCnts = myutils.sort_contours(digitCnts, method="left-to-right")[0]

# 计算并匹配每一组中的每一个数值
    for c in digitCnts:  # c 示意每个小轮廓的起点坐标
        z = 0
        # 找到以后数值的轮廓,resize 成适合的的大小
        (x, y, w, h) = cv.boundingRect(c)  # 外接矩形
        roi = group[y:y + h, x:x + w]  # 在原图中取出小轮廓笼罩区域, 即数字
        roi = cv.resize(roi, (57, 88))
        # cv_show("roi_"+str(z),roi)

        # 计算匹配得分: 0 得分多少,1 得分多少...
        scores = []  # 单次循环中,scores 存的是一个数值 匹配 10 个模板数值的最大得分

        # 在模板中计算每一个得分
        # digits 的 digit 正好是数值 0,1,...,9;digitROI 是每个数值的特色示意
        for (digit, digitROI) in digits.items():
            # 进行模板匹配, res 是后果矩阵
            res = cv.matchTemplate(roi, digitROI, cv.TM_CCOEFF)  # 此时 roi 是 X digitROI 是 0 顺次是 1,2.. 匹配 10 次, 看模板最高得分多少
            Max_score = cv.minMaxLoc(res)[1]  # 返回 4 个, 取第二个最大值 Maxscore
            scores.append(Max_score)  # 10 个最大值
        # print("scores：",scores)
        # 失去最合适的数字
        groupOutput.append(str(np.argmax(scores)))  # 返回的是输出列表中最大值的地位
        z = z + 1
# 画进去
    cv.rectangle(card_image, (gx - 5, gy - 5), (gx + gw + 5, gy + gh + 5), (0, 0, 255), 1)  # 左上角, 右下角
# putText 参数：图片, 增加的文字, 左上角坐标, 字体, 字体大小, 色彩, 字体粗细
    cv.putText(card_image, "".join(groupOutput), (gx, gy - 15), cv.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)

最初将其打印进去，工作就实现了。

cv.imshow("Output_image_"+str(i), card_image)
cv.waitKey(0)

总结

信用卡辨认的案例用到了图像处理的一些基本操作，对刚上手 CV 的人来说还是比拟敌对的。

点击关注，第一工夫理解华为云陈腐技术~