OpenCV（四）—— 车牌号识别

2024-05-04 08:44
文章标签 opencv 车牌号 识别

本文主要是介绍OpenCV（四）—— 车牌号识别，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本节是车牌识别的最后一部分 —— 车牌字符识别，从一个完整的车牌图片到识别出车牌上的字符大致需要如下几步：

  • 预处理：将车牌图片灰度化、二值化，并去除识别时的干扰因素，比如车牌铆钉
  • 字符分割：将整个车牌图片按照每个字符分割成 7 个单独的字符图片保存到集合中
  • 字符识别：使用经过训练的数字、英文字符、中文字符的特征集合对字符图片进行识别，得到最终的车牌号

下面详解以上步骤。

1、预处理

图像识别的预处理工作一般都是灰度化、二值化这些图像“降噪”处理，当然我们这里还有一个特殊的处理，就是要祛除车牌图像上的铆钉，它是对识别准确度影响较大的一个因素。

1.1 AnnPredictor 预处理

新建一个类 AnnPredictor 用于进行字符识别：

#ifndef ANNPREDICTOR_H
#define ANNPREDICTOR_H#define ANNPREDICTOR_DEBUG#include <opencv2/opencv.hpp>
#include <string>
#include <opencv2/ml.hpp>using namespace std;
using namespace cv;
using namespace ml;class AnnPredictor {
public:AnnPredictor(const char* ann_model, const char* ann_zh_model);~AnnPredictor();// 字符识别string predict(Mat plate);private:// 用于数字和英文字符识别Ptr<ANN_MLP> ann;// 用于中文字符识别Ptr<ANN_MLP> ann_zh;// ANN 的 HOG 特征HOGDescriptor* annHog = nullptr;// 与 SvmPredictor 中的函数相同void getHOGFeatures(HOGDescriptor* svmHog, Mat src, Mat& dst);// 去除铆钉bool clearRivet(Mat &plate);// 验证单个字符尺寸bool verifyCharSize(Mat src);// 获取城市汉字字符在排序后的矩形集合中的索引int getCityIndex(vector<Rect> rects);// 获取中文字符所在的矩形void getChineseRect(Rect cityRect, Rect& chineseRect);// 识别车牌字符保存到 str_plate 中void predict(vector<Mat> plateCharMats, string& str_plate);// 汉字字符集合static string ZHCHARS[];// 数字与英文字符集合static char CHARS[];
};#endif // !ANNPREDICTOR_H

这样在 LicensePlateRecognizer 中调用 predict() 即可获取到车牌字符串：

LicensePlateRecognizer::LicensePlateRecognizer(const char* svm_model, const char* ann_model, const char* ann_zh_model)
{...annPredictor = new AnnPredictor(ann_model, ann_zh_model);
}LicensePlateRecognizer::~LicensePlateRecognizer()
{...if (annPredictor){delete annPredictor;annPredictor = nullptr;}
}string LicensePlateRecognizer::recognize(Mat src)
{// 1.车牌定位，使用 Sobel 算法定位// 2.精选车牌定位得到的候选车牌图，找到最有可能是车牌的图...// 3.对车牌图进行字符识别string str_plate = annPredictor->predict(plate);plate.release();return str_plate;
}

predict() 内，先进行预处理，像灰度化和二值化这些操作前面已出现过多次就不再赘述了：

string AnnPredictor::predict(Mat plate)
{// 1.预处理 // 1.1 灰度化Mat gray;cvtColor(plate, gray, COLOR_BGR2GRAY);// 1.2 二值化（非黑即白，对比更强烈）Mat shold;threshold(gray, shold, 0, 255, THRESH_OTSU + THRESH_BINARY);// 1.3 去铆钉if (!clearRivet(shold)){return string("未识别到车牌");}...
}

主要说一下如何去掉车牌图片上的铆钉。

1.2 去掉车牌上的铆钉

二值化后的图片仍能看到车牌上的铆钉，这是影响识别准确程度的一个干扰因素：

去柳钉前

因此我们要去掉它，去掉后的效果：

去柳钉后

去除铆钉的思路是，对车牌图像进行逐行扫描，如果这一行是铆钉，那么颜色跳变的次数应该为 4 次，远远少于正常字符的颜色跳变次数：

2024-4-4.去柳钉前颜色跳变示意图1

上面红线是扫描到铆钉的行，先是黑色，扫描到铆钉变为白色，离开铆钉再变为黑色，第二颗铆钉重复上述过程，因此有 4 次黑白之间的颜色跳变。而第二条红线扫描到正常字符，跳变次数远远大于 4，我们就用这个思路去除铆钉：

/**
* 通过一行的颜色跳变次数判断是否扫描到了铆钉，
* 一行最小跳变次数为 12，最大为 12 + 8 * 6 = 60。
* 如果该行是铆钉行，则将该行所有像素都涂成黑色（像素值为 0）
*/
bool AnnPredictor::clearRivet(Mat &plate)
{// 1.逐行扫描统计颜色跳变次数保存到集合中int minChangeCount = 12;vector<int> changeCounts;int changeCount;for (int i = 0; i < plate.rows; i++){for (int j = 0; j < plate.cols - 1; j++){int pixel_front = plate.at<char>(i, j);int pixel_back = plate.at<char>(i, j + 1);if (pixel_front != pixel_back){changeCount++;}}changeCounts.push_back(changeCount);changeCount = 0;}// 2.计算字符高度，即满足像素跳变次数的行数int charHeight = 0;for (int i = 0; i < plate.rows; i++){if (changeCounts[i] >= 12 && changeCounts[i] <= 60){charHeight++;}}// 3.判断字符高度 & 面积占整个车牌的高度 & 面积的百分比，排除不符合条件的情况// 3.1 高度占比小于 0.4 则认为无法识别float heightPercent = float(charHeight) / plate.rows;if (heightPercent <= 0.4){return false;}// 3.2 面积占比小于 0.15 或大于 0.5 则认为无法识别float plate_area = plate.rows * plate.cols;// countNonZero 返回非 0 像素点（即白色）个数，或者自己遍历找像素点为 255 的个数也可float areaPercent = countNonZero(plate) * 1.0 / plate_area;// 小于 0.15 就是蓝背景白字车牌确实达不到识别标准，大于 0.5 是因为// 黄背景黑子二值化会把背景转化为白色，由于前面的处理逻辑只能处理// 蓝背景车牌，所以黄色车牌的情况也直接认为不可识别if (areaPercent <= 0.15 || areaPercent >= 0.5){return false;}// 4.将小于最小颜色跳变次数的行全部涂成黑色for (int i = 0; i < plate.rows; i++){if (changeCounts[i] < minChangeCount){for (int j = 0; j < plate.cols; j++){plate.at<char>(i, j) = 0;}}}return true;
}

2、字符分割

接下来开始分割字符，主要可以分为三部分：

  1. 找到各个字符的轮廓，并生成轮廓对应的图片
  2. 对汉字字符的轮廓图片进行特殊处理
  3. 将所有 7 个字符的轮廓图片保存到集合中为字符识别做准备

下面详解。

2.1 生成字符轮廓图片

先通过寻找轮廓的函数 findContours() 找到轮廓，生成轮廓矩形集合 vec_ann_rects：

string AnnPredictor::predict(Mat plate)
{// 1.预处理 ...// 2.字符分割// 2.1 找轮廓// vector<Point>是点的集合，可以连成线，线的集合就是轮廓了vector<vector<Point>> contours;findContours(shold, // 输入的图像contours, // 轮廓，接收结果RETR_EXTERNAL, // 轮廓检索模式：外轮廓CHAIN_APPROX_NONE // 轮廓近似算法模式：不进行轮廓近似，保留所有的轮廓点);vector<Rect> vec_ann_rects;// 在原图上克隆一个用来画矩形Mat src_clone = plate.clone();for each (vector<Point> points in contours) {Rect rect = boundingRect(points);Mat rectMat = shold(rect);// rectangle(src_clone, rect, Scalar(0, 0, 255));// 尺寸判断，符合规格的放入 vec_sobel_rects 集合中if (verifyCharSize(rectMat)) {vec_ann_rects.push_back(rect);}}...
}

遍历 vec_ann_rects 生成轮廓矩形并生成与矩形对应的图片，这就是分割的字符图片。当然，在将它们存入集合前你需要过滤一下，因为不是所有轮廓都刚好是一个完整的字符。比如“渝”字，由于汉字相比于英文字符和数字，结构复杂，因此无法识别为整个字，而是识别出“渝”字中点或者某个局部部分：

2024-4-8.字符找轮廓效果图2

因为我们导出的车牌宽度只有 136 像素，所以放大后并不清晰，但是能看出来，英文字母和数字的轮廓只有一个，而“渝”的轮廓有多个。面对这种情况，我们先用 verifyCharSize() 进行尺寸校验，将不符合规格的字符图片过滤掉：

bool AnnPredictor::verifyCharSize(Mat src)
{// 最理想情况 车牌字符的标准宽高比float aspect = 45.0f / 90.0f;// 当前获得矩形的真实宽高比float realAspect = (float)src.cols / (float)src.rows;// 最小的字符高float minHeight = 10.0f;// 最大的字符高float maxHeight = 35.0f;// 1、判断高符合范围  2、宽、高比符合范围// 最大宽、高比 最小宽高比float error = 0.7f;float maxAspect = aspect + aspect * error;//0.85float minAspect = 0.05f;int plate_area = src.cols * src.rows;float areaPercent = countNonZero(src) * 1.0 / plate_area;if (areaPercent <= 0.8 && realAspect >= minAspect && realAspect <= maxAspect&& src.rows >= minHeight &&src.rows <= maxHeight) {return true;}return false;
}

汉字被识别为多个部分，无法通过 verifyCharSize() 的校验，会被过滤掉。也就是说，这一步中，我们只获取了英文和数字图片，汉字图片暂时还未获取。

2.2 获取汉字轮廓

思路是，先定位到汉字后面表示城市的那一位英文字符，再向左侧推导获取汉字轮廓。

首先，根据图片的横坐标对 vec_ann_rects 集合内的字符图片进行从左至右的排序：

string AnnPredictor::predict(Mat plate)
{...// 2.2 对矩形轮廓从左至右排序sort(vec_ann_rects.begin(), vec_ann_rects.end(), [](const Rect& rect1, const Rect& rect2) {return rect1.x < rect2.x;});...
}

然后获取到表示城市字符的轮廓索引：

string AnnPredictor::predict(Mat plate)
{...// 2.3 获取城市字符轮廓的索引int cityIndex = getCityIndex(vec_ann_rects);...
}

getCityIndex() 获取城市字符索引的思路是：车牌上共有 7 个字符，那么城市字符位于第 2 位，该字符中间横坐标一定在车牌水平方向的 1/7 ~ 2/7 之间：

/**
* 寻找城市字符（7 位字符中的第 2 位）轮廓索引
*/
int AnnPredictor::getCityIndex(vector<Rect> rects)
{int cityIndex = 0;for (int i = 0; i < rects.size(); i++){Rect rect = rects[i];int midX = rect.x + rect.width / 2;// 如果字符水平方向中点坐标在整个车牌水平坐标的// 1/7 ~ 2/7 之间，就认为是目标索引。136 是我们// 训练车牌使用的素材的车牌宽度if (midX < 136 / 7 * 2 && midX > 136 / 7){cityIndex = i;break;}}return cityIndex;
}

获取城市字符索引后，可以根据其横坐标推断出汉字字符的轮廓：

string AnnPredictor::predict(Mat plate)
{...// 2.4 推导汉字字符的轮廓Rect chineseRect;getChineseRect(vec_ann_rects[cityIndex], chineseRect);...
}

getChineseRect() 会将推断出的矩形保存到 chineseRect 中：

/**
* 通过城市字符的矩形，确定汉字字符的矩形
*/
void AnnPredictor::getChineseRect(Rect cityRect, Rect& chineseRect)
{// 把宽度稍微扩大一点以包含完整的汉字字符// 还有一层理解，就是汉字与城市字符之间的空隙也要计算进去float width = cityRect.width * 1.15;// 城市轮廓矩形的横坐标int x = cityRect.x;// 用城市矩形的横坐标减去汉字宽度得到汉字矩形的横坐标int newX = x - width;chineseRect.x = newX > 0 ? newX : 0;chineseRect.y = cityRect.y;chineseRect.width = width;chineseRect.height = cityRect.height;
}

2.3 保存所有字符图片

最后将 7 个字符的图片保存到 plateCharMats 集合中等待字符识别：

string AnnPredictor::predict(Mat plate)
{...// 2.5 将字符图像保存到集合中// 先保存汉字字符图像vector<Mat> plateCharMats;plateCharMats.push_back(shold(chineseRect));// 再获取汉字之后的 6 个字符并保存int count = 6;if (vec_ann_rects.size() < 6){return string("未识别到车牌");}for (int i = cityIndex; i < vec_ann_rects.size() && count; i++, count--){plateCharMats.push_back(shold(vec_ann_rects[i]));}...
}

3、字符识别

3.1 识别过程

调用 predict() 传入字符图片集合 plateCharMats，识别的字符结果保存在 str_plate 中：

string AnnPredictor::predict(Mat plate)
{...// 3.字符识别string str_plate;predict(plateCharMats, str_plate);for (Mat m : plateCharMats) {m.release();}// 4.释放 Matgray.release();shold.release();src_clone.release();return str_plate;
}

predict() 内遍历 plateCharMats，提取 HOG 特征后对汉字和数字英文分开识别，注意 ZHCHARS 与 CHARS 内的字符顺序要和训练样本存放顺序相同：

string AnnPredictor::ZHCHARS[] = { "川", "鄂", "赣", "甘", "贵", "桂", "黑", "沪", "冀", "津", "京", "吉", "辽", "鲁", "蒙", "闽", "宁", "青", "琼", "陕", "苏", "晋", "皖", "湘", "新", "豫", "渝", "粤", "云", "藏", "浙" };
char AnnPredictor::CHARS[] = { '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'J', 'K', 'L', 'M', 'N', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z' };void AnnPredictor::predict(vector<Mat> plateCharMats, string& result)
{for (int i = 0; i < plateCharMats.size(); i++){Mat mat_plate_char = plateCharMats[i];// 提取 HOG 特征Mat features;getHOGFeatures(annHog, mat_plate_char, features);Mat sample = features.reshape(1, 1);Mat response;Point maxLoc;Point minLoc;if (i){// 字母和数字ann->predict(sample, response);minMaxLoc(response, 0, 0, &minLoc, &maxLoc);int index = maxLoc.x;result += CHARS[index];}else{// 汉字ann_zh->predict(sample, response);minMaxLoc(response, 0, 0, &minLoc, &maxLoc);int index = maxLoc.x;result += ZHCHARS[index];}}
}

至此代码结束，先来看一下效果：

2024-4-8.最终识别结果1

对于【渝G 83666】的识别结果为【渝G 80666】，错了一位，这与识别的算法，还有训练样本的数量都有关系。总的来说，Demo 提供了一种车牌识别的思路，但是准确度还是有限的。

3.2 样本制作

最后来说说样本是如何制作的。

识别车牌字符，需要所有字符训练的特征集合，即首位的汉字共 31 个字符、第二位英文字符 24 个（刨除 I 和 O 两个容易被误识别为 1 和 0）、以及后续位数中需要用到的 10 个数字。我们将训练样本分为两类：英文字符和数字的训练样本放入 ann 文件夹，汉字字符放入 ann_zh 文件夹。两个文件夹内都需要对字符进行编号：

  • ann 中 0 号文件夹是数字 0 的训练素材，1 号文件夹是数字 1 的训练素材，以此类推，总共是 10 + 24 = 24 个文件夹
  • ann_zh 中 1 号文件夹是“川”字的训练素材，2 号文件夹是“鄂”字的训练素材，共计 31 个文件夹

这些字符的编号顺序需要记录在一个额外的文档中，内容如下：

"川", "鄂", "赣", "甘", "贵", "桂", "黑", "沪", "冀", "津", "京", "吉", "辽", "鲁", "蒙", "闽", "宁", "青", "琼", "陕", "苏", "晋", "皖", "湘", "新", "豫", "渝", "粤", "云", "藏", "浙"
'0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'J', 'K', 'L', 'M', 'N', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z'

训练后可以得到两个特征集合文件 ann.xml（数字和英文字符）和 ann_zh.xml（汉字字符），正是初始化 AnnPredictor 的 ann 和 ann_zh 所加载的文件。目录结构如下：

2024-4-8.车牌字符样本训练目录

这篇关于OpenCV（四）—— 车牌号识别的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/958798。

相关文章

利用opencv与Socket实现树莓派获取摄像头视频和灰度重心发送到电脑

利用opencv与Socket实现树莓派获取摄像头视频和灰度重心发送到电脑

使用树莓派原装CSI摄像头录制视频并利用灰度重心法获取重心，将图像和重心数据通过Socket实时传输到电脑上 因为需要实现程序一启动便打开摄像头计算数据，同时启动Socket服务器等待客户端连接，所以利用C++11中的thread库通过多线程实现程序 树莓派-服务端 #include <iostream>#include <unistd.h>#include <cstring>#inc
阅读更多...
树莓派4B安装opencv以及错误解决

树莓派4B安装opencv以及错误解决

欢迎访问我的博客：konosuba.xyz 更新于2020/4/27 更新：换了个树莓派4B，安装opencv的时候遇到了一些之前没碰到的问题，在这里记录一下 主要参考opencv官网文档和博客树莓派+Opencv（一）图像处理 树莓派4B上安装参考：树莓派4B 安装opencv完整教程基于python3（各种错误解决） 下载安装依赖项 sudo apt-get install b
阅读更多...
几个人脸库对于面部动作识别的功能比较

几个人脸库对于面部动作识别的功能比较

经粗略研究，insightface只能识别面部特征点的位置，根据这些位置不能直接推出一个人是否在睡觉。 OpenFace 是一个高级的面部行为分析工具，它能够识别和分析多种面部动作单位（Facial Action Coding System, FACS），这些动作单位是根据面部肌肉活动定义的。每个动作单位（AU）代表了面部表情中的一个具体部分的变化。下面是一些动作单位的含义，以及它们在面部表达中
阅读更多...
关于低版本Windows系统在SpringBoot项目中无法运行OpenCV的问题

关于低版本Windows系统在SpringBoot项目中无法运行OpenCV的问题

文章目录 1 摘要2 异常信息3 解决OpenCV依赖问题3.1 Windows 7 安装 OpenCV 依赖3.2 Windows Server 2012 安装 OpenCV 依赖 4 推荐参考资料 1 摘要 曾经的典操作系统 Windows 7 ，在如今的 2024 年依旧占有一定的市场份额。在 SpringBoot 集成 OpenCV 的过程中也提到过操作系统版本过低会导
阅读更多...
opencv中关于sift匹配

opencv中关于sift匹配

opencv提供一个knnMatch函数，可以获取两个图片sift特征点的最近匹配距离以及次近匹配距离。 BruteForceMatcher< L2<float> > matcher;vector<DMatch> good_matches;matcher.knnMatch(description2, description1, ratio_matches, 2); match函数的参数中位
阅读更多...
开箱机选型“避坑”指南：风险识别与应对策略一网打尽

开箱机选型“避坑”指南：风险识别与应对策略一网打尽

在现代化生产线上，开箱机作为关键设备之一，其选型过程的成功与否直接关系到生产效率与成本控制。然而，在选型过程中，往往会面临诸多风险，如何有效识别并应对这些风险，成为企业关注的焦点。星派将为您详细解析开箱机选型过程中的风险识别与应对策略。 一、开箱机选型过程中的常见风险 技术风险：不同品牌的开箱机在技术水平、性能参数等方面存在差异，选型时若未能充分了解产品特性，可能导致设备与实际需求不匹配，影响
阅读更多...
【OpenCV 基础知识 4】分离图像通道

【OpenCV 基础知识 4】分离图像通道

cvSplit()是openCV中的一个函数，它分别复制每个通道到多个单通道图像。 void cvSplit( const CvArr* src, CvArr* dst0, CvArr* dst1, CvArr* dst2, CvArr* dst3 )；.cvSplit()函数将复制src的各个通道到图像dst0，dst1，dst2和dst3中。如果源图像少于4个通道的情况下，那么传递给cvSpl
阅读更多...
【OpenCV C++】cvtColor将彩色图像转换为灰度图时，3个通道的灰度值是如何处理的？ 三个通道是如何加权计算的？三个通道取平均得到灰度图吗？

【OpenCV C++】cvtColor将彩色图像转换为灰度图时，3个通道的灰度值是如何处理的？ 三个通道是如何加权计算的？三个通道取平均得到灰度图吗？

文章目录 在OpenCV中，使用cv::cvtColor函数将彩色图像转换为灰度图时，3个通道的灰度值并不是简单地取平均值，而是通过加权平均的方法来计算的。 具体来说，灰度值是根据人眼对不同颜色敏感度的不同，使用加权公式计算得到的。 转换公式 通常使用的加权公式是： Gray=0.299×R+0.587×G+0.114×B 解释 R、G、B 分别代表红色、绿色和蓝色通道的
阅读更多...
使用yolov8 训练coco 和自己的关键点识别数据集的参考

使用yolov8 训练coco 和自己的关键点识别数据集的参考

使用yolov8 训练关键点配置理解 1. coco-pose.yaml 修改关键参数kpt_shape: [17, 3]flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15] 2. yolov8n-pose.yaml 修改kpt_shape3. 编写 train文件4.一个封装的推理代码 1. co
阅读更多...
视觉识别应用的场景有哪些

视觉识别应用的场景有哪些

1.视觉识别应用的场景有哪些 视觉识别应用的场景非常广泛，以下是一些常见的应用场景： 品牌与营销：视觉识别在品牌建设中起着至关重要的作用。它能帮助企业在市场上建立独特的品牌形象，并通过各种印刷品（如名片、信纸、宣传册、海报等）、网站设计、广告与营销以及包装设计等方式，确保品牌视觉的一致性，从而增强品牌的专业形象和认知度。智慧城市：在智慧城市建设中，AI视觉识别技术被广泛应用。通过对城市中的摄像
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2