[发明专利]一种自然场景图像中字符元素检测方法

说明书

本发明涉及一种自然场景图像中字符元素检测方法，属于计算机领域。该方法首先使用最大池化操作对目标进行非极大抑制，随后通过特征提取网络进行特征提取，最后通过特征融合整合顶层与底层的特征，提高特征的表示能力并结合预测网络对输出字符目标的准确位置。本发明方法通过设计新型的神经网络结构，能够整合自然场景图像中字符顶层与底层的特征，实现在复杂背景下，水平排列、倾斜排列、弯曲排列的字符位置的准确检测。

技术领域

本发明属于计算机领域，涉及一种自然场景图像中字符元素检测方法。

背景技术

随着计算机视觉技术的进步，文本识别技术迅速兴起并蓬勃发展，其应用已遍及国民经济与社会生活的各个角落，正在对人类的生产方式、工作方式乃至生活方式带来巨大的变革。随着应用的不断深入，市场对场景更为复杂的自然场景下的文本检测方法要求越来越高。

文本检测是后续文本识别等操作的前奏，其检测效果直接影响后续识别等操作的效果。自然场景下文本通常含有大量的背景干扰，图像光照影响等问题，并且不同语言文字的长宽比变化较为剧烈。传统检测方法往往无法应对背景干扰等诸多问题，深度学习类方法能取得更好的检测结果，但是深度学习方法依赖大数据集训练，现有的自然场景下文本检测的单字符数据集由于标注成本较大，因此数据集较少，对算法开发以及效果检验等方面产生一定负面影响。此外现有文字检测任务中，数学公式检测，商标文字检测等等特殊场景下的文字检测要求算法能够实现单字符级别的检测，因此，成本小，准确性高的字符检测算法是后续文字识别等工作的重要前提。

发明内容

有鉴于此，本发明的目的在于提供一种自然场景图像中字符元素检测方法。

为达到上述目的，本发明提供如下技术方案：

一种自然场景图像中字符元素检测方法，所述方法包括以下步骤：

S1：首先图像通过最大池化操作进行目标的非极大抑制，随后通过特征提取网络对非极大抑制后的特征图进行进一步特征提取；

S2：特征整合网络，对特征提取网络中的顶层特征与底层特征进行整合输出；

S3：推测网络，以特征整合网络输出的特征图为基础进行推断，输出目标的目标位置框左上角坐标点推测值和类别判断、坐标点偏移推测值和目标长宽的推测值；通过整合推测值生成字符检测结果，并且根据每一类推测值的特点设计损失函数对网络进行训练。

可选的，所述S1具体为：

原始图像首先通过卷积层、BatchNormalization层、激活层和最大池化层组合成的非极大抑制模块以实现目标的非极大抑制；

根据原始图像的尺寸设计特征提取网络，特征提取网络基本结构由卷积层、BatchNormalization层和激活层组成的特征提取块，特征提取网络输入为经过非极大抑制的特征图，每经过一层特征提取块的处理，输出的特征图尺寸较输入时都会下降，特征提取网络中包含的特征提取块数量由原始图像尺寸决定。

可选的，所述S2具体为：

特征整合网络由特征组合单元组成，组合单元包括：上采样层，用于将特征图尺寸放大；卷积层，对上采样输出特征图进行维度调整；组合层，将输入的一组特征图与经卷积层处理的特征图进行组合并输出；BatchNormalization层加快训练速度并且使网络更加稳定；BatchNormalization层输出的特征图经过卷积层进行处理，进行信息提取与维度调整，卷积层输出的特征图输入到激活层进行激活，最后输出整合结果；

根据原图像的尺寸设置特征融合次数的阈值，确保特征整合网络的输出具有高分辨率；在对图像进行特征提取的过程中，每经过一组特征提取块的特征提取后，首先将处理结果输出至下一组特征提取块进行特征提取，其次保存该处理结果用于后续特征融合；