【自动驾驶/opencv】32.交通灯颜色提取的难点

本文主要是介绍【自动驾驶/opencv】32.交通灯颜色提取的难点，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

交通灯颜色识别有难点，因为很多时候，颜色会因为环境而变化，例如下面的红灯，下图不用理会右边的交通灯，因为我调试程序中是限定了id==8641只分析左边这个，所以右边这个没进行处理。

在这里插入图片描述
上图左边是向左的箭头灯，右边是向右的箭头。但是使用颜色空间进行提取颜色时，这箭头很亮的部分，其实已经接近白色了，所以就提取不到红色了。

这张图是截取亮灯中心带一点周边的图像：
在这里插入图片描述
下面这张图是截取亮灯中心的图像：【注意，这里我已经附图了，因为很接近白色，所以人眼不太能看出来，你可以把鼠标移动到下面中心位置的部分，就会出现一个放大镜的+，这就是图片】

我们人眼之所以还能觉得它是红色，是因为箭头周边，亮度没那么强的部分还能看出是红色，想把这接近白色的部分提取出红色，自然就不太可能了。

如下图，是用我另一篇博客HSV提取RBG各种颜色c++代码来提取红色得到的图片。可以看出,红色亮灯区域并没提取出来，只有周边的红色部分提取出来了：
在这里插入图片描述

如果从相机isp方面无法继续优化，那么就只能从其他颜色以外的角度想办法来解决了。

下面的方法不是使用hsv提取颜色，所以和上面的HSV方法有所差异：

void ExtractGreenLight(cv::Mat src_img, cv::Mat &dst_img) {std::vector<cv::Mat> Src_Mat_part(src_img.channels());cv::split(src_img, Src_Mat_part);cv::Mat img_green, img_red;img_green = Src_Mat_part[1].clone();img_red = Src_Mat_part[2].clone();dst_img = img_green - img_red;
}void ExtractRedLight(cv::Mat src_img, cv::Mat &dst_img) {std::vector<cv::Mat> Src_Mat_part(src_img.channels());cv::split(src_img, Src_Mat_part);cv::Mat img_blue, img_red, img_green;img_blue = Src_Mat_part[0].clone();img_green = Src_Mat_part[1].clone();img_red = Src_Mat_part[2].clone();dst_img = cv::max(img_green, img_red) - cv::min(img_green, img_blue);// dst_img = img_red - cv::min(img_green,img_blue);// dst_img = 2 * img_red - img_blue - 220;
}

上面两个函数的输出是灰度图像，分别为只包含红(黄)色和只包含绿色的图像。代码提取红色的函数提取的是红色和黄色一起提取出来，然后利用红黄色在交通灯的上下位置来区分红色和黄色。提取绿色的函数就是只提取绿色。

当然，由于我们可以由目标检测得到交通灯的box位置，所以可以得到只包含交通灯的roi图片，对这roi图片进行颜色提取，可以得到下面这张灰度图：
在这里插入图片描述
可以看出，我们能够利用强光周围的红色，也能找到亮灯区域，只不过，此时亮灯区域是提取不了红色，所以图中亮灯区域的左箭头显示为黑色。
对上面灰度图进行二值化，可以得到下面这张图，下图的边界框是我画出来的，不是二值化后得到的框。然后再找轮廓，找到亮灯区域的box。最后再根据找到的box截取出亮灯区域的roi图片。
在这里插入图片描述
不过，这种情况下的亮灯人眼看着都很模糊，机器想要正确识别也不容易。

在这种情况下，可以特殊情况特殊处理，以下是我的一个思路：
先提取出交通灯图片最亮的部分，然后再二值化，求轮廓，找出最小外接正矩形 cv::Rect roi = cv::boundingRect(contours[i]);就是亮灯区域的位置，根据最小外接正矩形在交通灯的位置来分类是红色、黄色、或者绿色。一个交通灯的上中下三个亮灯区域依次是是红、黄、绿。
当然，对于不是这种交通灯的，该方法就不适用了，毕竟这种方法没有使用颜色空间，并不能真正从颜色角度提取颜色。