python cv2 指针仪表读数

问题描述

最近遇到一个仪表盘读数的问题，主要要识别三种仪表盘



参考了许多博客和论文，打算先用一种传统的方法试一下

解决方案

方案一：传统方法

1. 模板匹配
2. 直线拟合
3. 表盘读数

方案二： 深度学习 (后续实现)

1. YOLOX等目标检测方法识别表盘
2. 目标检测方法识别数字、指针、指针旋转原点
3. 欧式距离求相邻数字
4. 字符识别模型识别数字
5. 根据相邻数字求得指针所指数值

效果预览

1、原图

2、模板图

3、模板匹配结果

4、识别结果

可以看出识别结果会有细微的偏差，但是通过调参可以缩小误差

python cv2实现

1、模板匹配

选取合适的模板图，并根据模板图中关键点坐标求出各角度对应数值

import cv2
import numpy as np
from math import cos, pi, sin, acos#模板匹配方法
methods = ['cv2.TM_CCOEFF', 'cv2.TM_CCOEFF_NORMED', 'cv2.TM_CCORR','cv2.TM_CCORR_NORMED', 'cv2.TM_SQDIFF', 'cv2.TM_SQDIFF_NORMED']
method = cv2.TM_CCOEFF_NORMED#centers表示所有模板图片的指针中心点坐标，(0,0)位于图片左上角
centers = [[47,50],[67,74],[102,96],[63,64],[66,67],[65,67],[107,105],[104,106],[94,89],[57,55],[66,71]]
#scales表示所有模板图片刻度线所在坐标
scales=[{0:(8,68),1000:(7,46),2000:(14,20),3000:(38,8),4000:(64,5),5000:(84,22),6000:(98,42),7000:(96,66)},{0:(13,67),150:(17,50),200:(21,36),250:(30,27),300:(41,22),450:(65,18)},{0:(24,97),1000:(27,73),1500:(30,50),2000:(47,40),2500:(56,28),3000:(68,25),4000:(83,16),5000:(93,16),6000:(99,17)},{0:(14,63),50:(19,48),100:(26,29),150:(44,17),200:(65,13)},{0:(14,67),200:(17,46),300:(24,32),400:(36,22),500:(50,15),600:(65,13)},{0:(15,66),10:(14,55),20:(19,39),30:(32,36),40:(46,15),50:(63,13)},{0:(30,105),1:(26,86),2:(36,71),3:(40,52),4:(58,42),5:(71,27),6:(90,27),7.2:(110,19)},{0:(20,105),20:(21,80),40:(35,58),60:(54,39),80:(77,27),100:(101,26)},{0:(25,90),0.5:(24,77),1.0:(32,57),1.5:(47,38),2.0:(66,24),2.5:(91,19)},{0:(13,55),100:(12,45),200:(18,29),300:(29,19),400:(38,12),600:(57,10)},{0:(18,71),200:(16,62),400:(21,43),600:(31,26),800:(43,18),1000:(64,14)}]
#angles表示所有模板图片对应刻度相对中心点的角度
angles=[]
#模板原图大小
original_template_image_size = [(128,124),(107,105),(164,166),(99,97),(104,107),(106,99),(163,160),(161,162),(140,140),(95,104),(112,114)]#计算各个模板图刻度对应的角度
def calculate_angles(centers, scales):template_number = len(centers)for i in range(0, template_number):angles.append({})#print(f"模板{i+1}：")for k, v in scales[i].items():#第一个模板图片为圆形表盘，以中心点为轴，→为起始边向下旋转所成角度为r,r属于(0,360)if i == 0:r = acos((v[0] - centers[i][0])/((v[0] - centers[i][0]) ** 2 + (v[1] - centers[i][1]) ** 2) ** 0.5)r = int(r * 180 / pi)if 1000 < k < 7000:r = 360 - relse:r = acos((centers[i][0] - v[0])/((v[0] - centers[i][0]) ** 2 + (v[1] - centers[i][1]) ** 2) ** 0.5)r = int(r * 180 / pi)angles[i][k]=r#print(f"{k}刻度的角度为:",angles[i][k])calculate_angles(centers,scales)

Tips：

1. 模板匹配方法的选取可能对结果产生巨大影响
2. 模板图片选取十分重要！！

2、直线拟合

对于一红一黑双指针问题，先识别红指针，再识别黑指针。具体问题具体分析，关键在于获取指针角度，而不是识别出指针

#获取指定图片的指针角度
def get_pointer_angle(img, template_type):#shape = img.shapecenter = centers[template_type]center_x = center[0]center_y = center[1]freq_list = []#圆形表盘if template_type == 0:for i in range(361):x = 0.6 * center_x * cos(i * pi / 180) + center_xy = 0.6 * center_x * sin(i * pi / 180) + center_yx1 = 0.4 * center_x * cos(i * pi / 180) + center_xy1 = 0.4 * center_x * sin(i * pi / 180) + center_ytemp = img.copy()cv2.line(temp, (int(x1), int(y1)), (int(x), int(y)), 255, thickness=2)freq_list.append((np.sum(temp), i))#cv2.imshow('get_pointer_angle', temp)#cv2.waitKey(10)else:for i in range(91):x = center_x - 0.6 * center_x * cos(i * pi / 180)y = center_y - 0.6 * center_x * sin(i * pi / 180)temp = img.copy()cv2.line(temp, (center_x, center_y), (int(x), int(y)), 255, thickness=2)freq_list.append((np.sum(temp), i))#cv2.imshow('get_pointer_angle', temp)#cv2.waitKey(30)#cv2.destroyAllWindows()freq = max(freq_list, key = lambda x:x[0])return freq[1]#对于一红一黑双指针，先识别出红指针
def get_red_pointer_angle(img, template_type):center = centers[template_type]center_x = center[0]center_y = center[1]freq_list = []for i in range(91):x = center_x - 0.6 * center_x * cos(i * pi / 180)y = center_y - 0.6 * center_y * sin(i * pi / 180)temp = img.copy()cv2.line(temp, (center_x, center_y), (int(x), int(y)), (0, 0, 255), thickness=2)#cv2.imshow('red_pointer', temp)#cv2.waitKey(30)temp = np.sum(temp, axis=0)temp = np.sum(temp, axis=0)#获取图片中红色亮度的总和temp = temp[2]freq_list.append((np.sum(temp), i))#cv2.destroyAllWindows()freq = min(freq_list, key = lambda x:x[0])red_pointer_angle = freq[1]return red_pointer_angle

3、表盘读数

根据指针角度求数值

#根据角度和表盘类型，求得指针式仪表盘数值
def get_pointer_meter_value(angle, template_type):#value是所要求得指针数值，scale_value_down是刚好小于指针数值的表盘刻度数值，scale_value_over是刚好大于指针数值的表盘刻度数值value = 0scale_value_down = -1scale_value_up = 0#表盘为圆形if template_type == 0:if angles[template_type][0] < angle < angles[template_type][1000]:scale_value_down = 0scale_value_up = 1000elif angles[template_type][1000] < angle < angles[template_type][2000]:scale_value_down = 1000scale_value_up = 2000elif angles[template_type][2000] < angle < angles[template_type][3000]:scale_value_down = 2000scale_value_up = 3000elif angles[template_type][3000] < angle < angles[template_type][4000]:scale_value_down = 3000scale_value_up = 4000elif angles[template_type][4000] < angle < angles[template_type][5000]:scale_value_down = 4000scale_value_up = 5000elif angles[template_type][5000] < angle < angles[template_type][6000]:scale_value_down = 5000scale_value_up = 6000elif angles[template_type][7000] < angle < angles[template_type][0]:return 0else:angles_difference_angle = angles[template_type][7000] + 360 - angles[template_type][6000]if angle > angles[template_type][6000]:pointer_difference_angle = angle - angles[template_type][6000]else:pointer_difference_angle = angle + 360 - angles[template_type][6000]value = 6000 + 1000 * pointer_difference_angle / angles_difference_anglereturn value#表盘为四分之一圆else:    for k,v in angles[template_type].items():if angle < v:if k==0:return 0else:scale_value_up = kif scale_value_down != -1:break;else:scale_value_down = kangles_difference_angle = angles[template_type][scale_value_up] - angles[template_type][scale_value_down] #刻度线间角度差值pointer_difference_angle = angle - angles[template_type][scale_value_down]#下游刻度线与指针角度的差值value = scale_value_down + (scale_value_up-scale_value_down) * pointer_difference_angle / angles_difference_anglereturn value

提升准确率的方法

1. 选用更规范的模板图片
2. 选用其他模板匹配方法
3. 调整模板图尺寸
4. 直线拟合时采用更高精度
5. 直线拟合选取更优直线宽度
6. 高斯滤波等去噪手段预处理

完整源码地址：https://github.com/frankstorming/meter_reading

参考资料

使用OpenCV进行仪表数值读取

基于深度学习的指针式仪表图像智能读数方法