[发明专利]一种基于机器视觉的工业现场生产数据的采集方法

权利要求书

1.一种基于机器视觉的工业现场生产数据的采集方法，其特征在于，所述采集方法包括建立基于机器视觉的工业现场生产数据的采集系统，所述采集系统包括：

-至少一个相机，所述相机用于拍摄生产加工设备显示屏的显示界面上的生产加工数据；

-计算机，所述计算机用于存储原始图像信息以及由计算机对相机所拍摄的图像进行识别处理；计算机上设有多功能图像识别系统，所述多功能图像识别系统用于识别处理经交换机传输的相机所拍摄的生产加工数据的图像，所述多功能图像识别系统包括字符识别模块、曲线识别模块；所述字符识别模块用于识别相机拍摄图像中的数字和字母；所述曲线识别模块用于提取相机拍摄图像中的曲线数据；

所述采集方法还包括：

(1)相机安装在生产加工设备的显示屏前用于拍摄生产加工设备显示屏显示界面上的生产加工数据；相机和显示屏之间的安装距离不超过0.5米，相机轴线和显示屏平面之间的夹角不低于45度，以确保显示屏拍摄时相机的视域尺寸和显示屏基本保证一致且不会产生较大的图像畸变；

(2)图像矫正：通过具有标准长度的参考系对相机进行标定，利用参考标准长度与所拍摄图像的尺寸对比，从而实现图像的矫正；

(3)设置采集对象：采集对象分别为数字/数字串、字母/字母串和曲线；

(4)对所拍摄的显示屏图像设置采集对象的图像区域；

(5)根据采集对象设置以及所确定的图像区域，分别通过字符识别模块对相机所拍摄图像中的数字/数字串、字母/字母串进行字符识别处理，以及通过曲线识别模块对相机所拍摄图像中的曲线数据进行曲线识别处理；

(6)采用字符识别模块和曲线识别模块进行识别处理时，如果无法成功识别，则返回错误信息；

(7)同一幅图像中可以存在多个采集对象及多个图像区域，在设置中分别标注明确；

所述图像矫正的实现方法是：先估算出相机的内参数、外参数以及畸变参数，然后利用这些参数将图像从相机坐标系恢复到世界坐标系；设置设备显示屏的某个角点为图像的基准点，当相机存在偏移时，该基准点可用于自动地找到目标图像区域，并且可以相对于该基准点找到采集对象的图像区域；

所述字符识别模块通过如下实现：(1)建立训练样本；(2)设计分类器；(3)待识别图像预处理；(4)应用分类器；

所述字符识别模块通过如下实现：

(1)建立训练样本：

训练样本图像全部都是只包含单个字符的图片，在建立训练样本时，需要对训练样本图像进行预处理；首先，将训练样本图像灰度化，然后采用中值滤波法进行降噪处理，接着采用双峰法求取合适的阈值对训练样本图像进行二值化，再接着对训练样本图像进行归一化，把训练样本图像全部变成大小相等的图片，最后把预处理过的训练样本图像中的黑色像素点的灰度值设为1，白色像素点的灰度值设为0，从而将每个训练样本都表示成一个0/1矩阵；

(2)设计分类器：

采用改进型的K近邻算法来设计分类器，先将所有训练样本转化为样本向量集，然后采用欧氏距离作为度量标准来计算待分类的实例和每个训练样本的相似度，接着从样本向量集中找到与实例相似度最高的2k个样本，再接着采用夹角余弦距离作为度量标准来计算待分类实例和这2k个样本的相似度，从这2k个样本中找到与实例相似度最高的k个样本，最后利用投票法在这k个样本中找到出现次数最多的类别作为最终的预测类别；并在改进型的K近邻算法中：k取3或5；

(3)待识别图像预处理：

首先，对待识别图像进行灰度化，将其变为灰度图，然后采用中值滤波法进行降噪处理，接着对其进行二值化；由于待识别图像不仅仅包含单个字符，所以需要对其进行分割，把每个字符都分割出来，然后再利用分类器对字符进行逐个识别；采用投影直方图的方法对待识别图像进行分割，待识别图像被分割成多张只包含单个字符的图像后，由于每张图像的大小不相同，采用归一化的方法，将所有单个字符图像调整为分类器能够识别的大小，然后再把归一化后的图像中的黑色像素点的灰度值设为1，白色像素点的灰度值设为0，从而将所有单个字符图像都表示成一个0/1矩阵；

(4)应用分类器：

对待识别图像进行预处理后，将分割好的每张单字符图像的0/1矩阵依次交给分类器来进行识别，将所有识别结果组合成一个字符串输出；

所述曲线识别模块通过如下实现：(1)曲线图像预处理；(2)曲线图像分割；(3)获取曲线区域的端点坐标值；(4)计算坐标转换比例因子；(5)提取曲线数据；

所述曲线识别模块通过如下实现：

(1)曲线图像预处理：

采用黑白棋盘格对相机进行标定，实现图像的矫正，然后利用标定得到的外参数将图像从相机坐标系恢复到世界坐标系，从而获取到标准的曲线图像，设置设备显示屏的左边角为曲线图像的基准点，当相机存在偏移时，该基准点可用于自动地找到目标曲线区域，接着对曲线图像进行灰度化、降噪处理以及二值化，当目标曲线和背景间像素灰度值差异大时，采用二值化的方法能够有效地去除曲线的背景网格；

(2)曲线图像分割：

相对基准点切割出曲线区域1、X坐标轴区域2以及Y坐标轴区域3；

(3)获取曲线区域的端点坐标值：

采用投影直方图的方法切割出X坐标轴区域2的端点坐标x1和x2以及Y坐标轴区域3的端点坐标值y1和y2，并调用字符识别模块，识别出x1、x2、y1和y2的具体数值；

(4)计算坐标转换比例因子：

获取到曲线区域1的端点坐标值x1、x2、y1和y2后，结合曲线区域1的宽度W以及曲线区域1的高度H，其中，W和H分别代表曲线区域1的宽度和高度的像素点的个数，可以实现目标曲线的实际坐标值和像素坐标值的相互转换，这种换算关系可以用坐标转换比例因子表示，如式(1)和(2)所示：

在式(1)中，P为目标曲线的x坐标转换比例因子，代表在X坐标轴上每单位长度具有像素点的个数；在式(2)中，Q为目标曲线的y坐标转换比例因子，代表在Y坐标轴上每个像素点的真实高度值；

(5)提取曲线数据：

假设已知曲线上A点的横坐标为A_x，需要提取A点的纵坐标A_y；首先根据A点的真实横坐标A_x，计算出A点的像素横坐标X_a，X_a的计算公式如式(3)所示：

X_a＝P*(A_x-x1) (3)

然后，分别在X_a这一列像素点上从上向下以及从下向上扫描，当扫描到黑像素点，即是，灰度值为0的点时，分别记录此时的像素纵坐标Y_a1和Y_a2；如果Y_a1和Y_a2的差值大于某个假定的阈值，则舍弃这组数据，这样能够有效的防止噪声的干扰；接着，利用Y_a1和Y_a2求平均值得到X_a对应的像素纵坐标Y_a；为了提高识别的准确率，在像素横坐标为X_a-2、X_a-1、X_a+1、X_a+2的4列像素点上进行同样的扫描和求平均值操作，分别得到相应的像素纵坐标Y_a-2、Y_a-1、Y_a+1、Y_a+2；然后，求Y_a-2、Y_a-1、Y_a、Y_a+1、Y_a+2这5个像素纵坐标的平均值得到A点最终的像素纵坐标Y_a；得到最终的Y_a后，需要利用坐标转换比例因子Q将A点的像素纵坐标Y_a转换为真实纵坐标A_y，A_y的计算公式如式(4)所示：

A_y＝Q*(H-Y_a)+y1 (4)

这样就得到了A点的真实纵坐标A_y，从而实现了目标曲线上数据的提取。