[发明专利]基于全卷积神经网络的候选文本框生成和文本检测方法

说明书

本发明公开了基于全卷积神经网络的候选文本框生成和文本检测方法，包括步骤：生成文本区域候选框，inception‑RPN以自然场景图片和一套标记文本区域的真实边界框作为输入，产生可控数量的单词区域候选框，在VGG16模型的卷积特征响应图上滑动一个inception网络，并在每个滑动位置辅助一套文本特征先验框；并入容易引起歧义的文本类别监督信息，融入多层次的区域下采样信息，进行文本检测；通过反向传播和随机梯度下降，以一种端到端的方式训练inception候选框生成网络和文本检测网络；候选框迭代投票以一种补充的方式获得更高的文本召回率，使用候选框过滤算法，移除过剩的检测框。本发明在ICDAR 2011和2013robust文本检测标准数据库上分别获得0.83和0.85的准确率，优于先前最好的结果。

技术领域

本发明涉及自然场景图片中文本候选框生成和文本检测的技术，尤其涉及基于全卷积神经网络的候选文本框生成和文本检测方法。

背景技术

图像中的文本提供了丰富和精确的高水平的语义信息，这些信息对于场景理解，图像和食品检索，基于内容的推荐系统等大量潜在应用至关重要。自然场景图片的文本检测在计算机视觉和图像理解社区吸引了大量的关注。然而，自然场景的文本检测仍然是一个充满挑战和未解决的问题。首先，文本图片的背景是很复杂的，并且符号、标记、砖块和草地等区域组成是非常难于和文本区分的。此外，不均匀的光照条件、强曝光、低对比度、模糊和低分辨率等超级混合因素对文字检测任务增添了巨大的挑战

发明内容

为克服现有技术的不足，本发明提出基于全卷积神经网络的候选文本框生成和文本检测方法。

本发明的技术方案是这样实现的：

基于全卷积神经网络的候选文本框生成和文本检测方法，包括步骤

S1：生成文本区域候选框，inception-RPN以自然场景图片和一套标记文本区域的真实边界框作为输入，产生可控数量的单词区域候选框，在VGG16模型的卷积特征响应图上滑动一个inception网络，并在每个滑动位置辅助一套文本特征先验框；

S2：并入容易引起歧义的文本类别监督信息，融入多层次的区域下采样信息，进行文本检测；

S3：通过反向传播和随机梯度下降，以一种端到端的方式训练inception候选框生成网络和文本检测网络；

S4：候选框迭代投票以一种补充的方式获得更高的文本召回率，使用候选框过滤算法，移除过剩的检测框。

进一步地，步骤S1包括步骤

S11：文本特征先验框设计；

S12：构建Inception候选框生成网络。

更进一步地，步骤S11中文本特征先验框共24种，其中每个滑动位置滑动窗的宽设为32，48，64和80，长宽比例为0.2，0.5，0.8，1.0，1.2和1.5。

更进一步地，步骤S12中inception候选框生成网络由一个3*3的卷积层，5*5的卷积层和3*3的最大池化层连接到一个作为输入的Conv5_3的特征响应图的相应的空间接受域上。

进一步地，步骤S2中文本类别监督信息为：候选框IoU重叠大于等于0.5的指定为存在文本，把候选框IoU重叠大于等于0.2小于0.5的指定为“模糊文本”，其他指定为不包含文本信息。

进一步地，步骤S2中多层次的区域下采样信息为：在VGG16网络的Conv4_3和Conv5_3的卷积特征响应图都执行多层次的区域下采样，并得到两个512*H*W的采样特征，然后以一个512*1*1的卷积层解码连接在一起的特征。