[发明专利]基于智能手机图像识别的生产信息采集方法及系统

权利要求书

1.一种基于智能手机图像识别的生产信息采集方法，其特征在于，通过智能手机拍摄生产机器附带控制终端显示屏的图像，并裁剪出显示屏所在的图像区域；在显示屏图像区域中提取出显示框、显示框标签的外部轮廓；提取出显示框标签的文字，提取出显示框中显示的颜色或文字，并在智能手机页面进行显示；将识别并人工检查确认后的显示框标签的文字以及对应显示框显示的颜色或文字传输到服务器。

2.根据权利要求1所述的一种基于智能手机图像识别的生产信息采集方法，其特征在于，包括：

步骤1：初始化设置，通过智能手机获取生产机器附带控制终端显示屏工作状态下的显示屏图像，提取显示屏所在图像区域的背景色以及待识别显示框标签的文字颜色、待识别显示框的背景色、待识别显示框中文字的颜色，作为待识别图像特征的预设对比色；

步骤2：图像采集，拍摄生产机器附带控制终端显示屏的屏幕图像作为待识别图像，对待识别图像进行预处理，裁剪出待识别图像中的显示屏区域；

步骤3：查找显示屏区域中所有待识别显示框的外部轮廓；

步骤4：查找显示屏区域中所有待识别显示框标签的外部轮廓；

步骤5：将查找到的显示框标签的外部轮廓的坐标与所对应的显示框的外部轮廓的坐标一一对应；

步骤6：分割出所有的显示框标签和显示框；

步骤7：将分割出的显示框标签的图像区域进行灰度化，调用库函数Tesseract的API接口对灰度化处理后图像进行识别，得到显示框标签的文字；

步骤8：提取与显示框标签对应的显示框中显示的颜色或文字；

步骤9：将识别到的显示框标签的文字以及对应显示框中显示的颜色或文字显示到手机屏幕页面；

步骤10：检查手机屏幕页面所显示的显示框标签的文字以及对应显示框中显示的颜色或文字与拍摄的显示屏图像内容是否相同，如果相同，确认提交数据，通过无线网络传输并存储至服务器的数据库中，如果不同，提示用户重新拍摄。

3.根据权利要求2所述的一种基于智能手机图像识别的生产信息采集方法，其特征在于，所述步骤1包括：

步骤1.1：通过智能手机对生产机器附带的控制终端显示屏拍照，获取整个显示屏的屏幕图像；

步骤1.2：提取显示屏图像区域的背景色，以及显示屏图像区域中待识别显示框标签的文字颜色、待识别显示框的背景色、待识别显示框中文字的颜色，作为待识别图像特征的预设对比色。

4.根据权利要求2所述的一种基于智能手机图像识别的生产信息采集方法，其特征在于，所述步骤2包括：

步骤2.1：拍摄生产机器附带控制终端显示屏的屏幕图像作为待识别图像；

步骤2.2：将待识别图像转换为HSV颜色空间；

步骤2.3：过滤掉待识别图像中除显示屏图像区域的背景色之外的其它颜色；

步骤2.4：对过滤掉其它颜色之后的图像进行膨胀操作；

步骤2.5：对膨胀操作后的图像通过中值滤波去除图像中的噪点；

步骤2.6：对噪点去除后的图像进行边缘检测，并提取出图像内部的所有轮廓；

步骤2.7：在提取到的所有轮廓中找到面积最大的轮廓，然后进行多边拟合得到显示屏的近似轮廓；

步骤2.8：对得到的显示屏的近似轮廓进行轮廓检测，如果检测到显示屏的近似轮廓的角点数为四个，则说明当前处理的待识别图像合格，继续执行步骤2.9；如果检测到的角点数不是四个，则说明当前处理的待识别图像不合格，提示用户重新拍摄，执行步骤2.1；

步骤2.9：对显示屏的近似轮廓的四个角点所对应的图像区域进行四点透视变换，切割出显示屏区域。