[发明专利]一种面向多种类型数显仪表的字符检测和识别方法

说明书

本发明公开了一种面向多种类型数显仪表的字符检测和识别方法，基于数显仪表样本库进行数据标注，构建数显仪表数显区域检测数据集；根据构建的数显仪表数显区域检测数据集，搭建并训练数显仪表数显区域检测模型，自动定位数显区域位置，根据其定位结果进行裁剪；数显字符识别数据集构建和标注；搭建数显字符识别模型，并根据所构建的数显字符识别数据集进行训练；将数显仪表旋转识别和旋转矫正和训练的到的两个模型进行串联，用于对数显仪表进行定位和识别，得到数显仪表所显示的示数。本发明解决了具有倾斜角度的多类数显仪表识别困难、准确度不高、鲁棒性低的问题。

技术领域

本发明属于图像处理领域，尤其涉及一种面向多种类型数显仪表的字符检测和识别方法。

背景技术

数显仪表在仪器测量领域有着广泛应用，但不同的应用场景所使用的数显仪表也各有不同。以测量领域中常见的数字天平为例，通过仪表盘上的数显区域可以获得测量的数据，但由于缺少通讯接口，因此很难自动获取具体数字。在实际的测量过程中，一般采用人工采集的方式对数据进行记录，这样不仅耗时耗力，而且人在高频率的记录下容易造成误输入。然而，随着计算机视觉技术的迅速发展，各种数显仪表识别算法随之出现，通过计算机视觉自动获取数显仪表数据的方式，已成为实现仪器测量自动化的重要手段之一。

目前已有许多公开的数显仪表数字检测和识别算法。如徐贵力等(CN103984930A)提出了基于视觉的数字仪表识别系统及其识别方法，首先利用亮度阈值和颜色阈值，二值化图像得到数字区域，再利用二值化和垂直投影法对数字进行分割，然后基于BP神经网络实现了对七段数码管这一类型的数显仪表数字识别。如张方等(CN111539330A)提出了一种基于双SVM多分类器的变电站数显仪表识别方法，采用最大类间方差法获得二值化的阈值实现了数显仪表的数字区检测，再通过图像归一化和开闭运算实现单一字符的分割流程，最后通过训练两个SVM对分割后的单个字符进行预测，将得到的预测值加权后输出为最终的识别结果。

现有的大部分方法在识别同一类型的数显仪表时可以取得较好的效果，但无法适用于具有多种类型数显仪表的场景。此外，大部分数显仪表数字检测算法，是利用单一阈值进行二值化，以区分图像中的数显仪表的数字区域和其余区域。这种方法在面对多类型的数显仪表时，采用的是单一阈值，不能区分所有类型的数显仪表。此外，目前大部分数显仪表的数字识别方法，需要先对数字进行分割，然后将分割后的每个数字送分类网络中进行分类识别，字符分割结果的好坏会直接影响后续的识别过程，鲁棒性不高。同时，对于单个数字的识别网络，需要对数显仪表上的每个数字进行标注，标注成本较高。

发明内容

本发明的目的在于针对现有技术的不足，提供一种面向多种类型数显仪表的字符检测和识别方法。本发明利用图像处理、卷积神经网络、CTC(Connectionist TemporalClassification)构建深度学习模型，实现对室内场景下多类型数显仪表的数字检测和识别。

本发明的目的是通过以下技术方案来实现的：一种面向多种类型数显仪表的字符检测和识别方法，包括以下步骤：

S1：在统一场景下采集多种类型的数显仪表的图像。

S2：对S1中采集到的图像进行旋转识别和矫正，构建数显仪表图像样本库。

S3：对S2构建的数显仪表图像样本库进行数据标注，构建数显仪表的数字检测数据集。

S4：根据S3构建的数显仪表的数字检测数据集，搭建并训练数显仪表的数字检测模型，自动定位数显区域位置。

S5：构建数显字符识别数据集，由两部分组成，一部分由训练后的模型预测结果和标注组成，另一部分通过数据增强手段得到。

S6：搭建数显仪表的数显字符识别模型，并根据所构建的数显字符识别数据集进行训练。