[发明专利]一种基于语义分割的自然场景文本检测方法

说明书

本发明属于深度学习技术在计算机视觉领域，提供了一种基于语义分割的自然场景文本检测方法。本发明首先构建了特征提取网络，然后使用了特征选择模块进行有效信息的筛选，再通过特征金字塔网络结构将经过筛选后的多尺度的特征信息进行融合，最后使用边缘强化网络和语义分割网络得到文本区域的边缘显著强化后的语义分割结果，最后得到文本区域的边界坐标信息。本发明实现了快速轻量级的文本检测模型，不仅能检测各种复杂形状和背景的文本区域，而且检测过程快速而精确。

技术领域

本发明属于人工智能技术领域，涉及到深度学习和计算机视觉内容，特别涉及到一种自然场景文本检测方法。

背景技术

文本检测是计算机获取人类社会重要信息、实现人机交互的重要步骤，其目的在于让计算机像人一样能够快速获视界中包含有效信息的文字区域。通常在自然场景图像中，信息密度最大的部分就是文字，获取信息的第一步就是要找出文字的位置。通过筛选出的包含有效信息的文字区域，计算机获取到信息的过程不仅更加精准和高效，也减少了后期的计算和存储资源的冗余，从而提高了图像理解整体性能。通常，图像中包含有效信息的文本区域和其它无用信息的背景区域，而理解图像只需要关注其中的有效信息，忽略无用信息，这与计算机视觉中的语义分割区分前景和背景异曲同工。因此，利用计算机模拟人类视觉系统进行场景文本检测具有可行性。

以前的文本检测利用传统机器学习方式，对图像中的像素分布进行统计并分析，这种方式无法充分考虑全局信息，只是在图像中通过固定的算法进行遍历查找，导致速度和准确度都不理想。基于深度学习的方法有效地解决了速度和准确度的问题，初期提出的方法主要使用神经网络预测文本区域的边框信息，受限于网络的表达能力，这种直接对文本边框回归的方法只能检测简单文本区域。如果背景和文本相互掺杂难以分离、文本的样式呈现弯曲等情况，这种方式就无能为力了。而语义分割能够很好地解决上述问题。首先，得益于深度学习的发展和目前计算机算力的迅速提高，神经网络对图像的处理速度已经能够满足实时性的要求。再者，语义分割方式能够精确分离目标前景和背景，即使目标具有复杂的轮廓，这样复杂场景和复杂文本情况下得检测也能够进行。通过对检测到的语义信息进行描边，就能得到文本区域的精确轮廓，这使得自然场景中复杂的文字提取变得更加高效。

发明内容

本发明要解决的技术问题是：弥补目前场景文本检测的不足，提出一种基于语义分割的边缘强化自然场景文本检测方法，达到高精度高效率检测的目的。

本发明的技术方案：

一种基于语义分割的自然场景文本检测方法，步骤如下：

(1)构建基础特征提取网络

特征提取网络采用ResNet或MobileNet等经典网络结构作为骨干，分别从不同层提取输入图像尺寸的1/4、1/8、1/16、1/32特征作为输出，且输出特征对应的通道数分别为64、128、256、512通道；

(2)构建特征筛选模块

特征筛选模块输入为i和h两部分，i表示特征提取网络的输出特征，h表示上一级特征筛选模块的输出特征，对这两部分进行卷积融合后使用sigmoid函数归一化，将归一化结果作为权重再对i和h两个输入进行选择融合，最后得出融合后的输出特征；整个运算过程定义如下：

S＝sigmoid(conv3(conv1(h),conv2(i)))

out＝conv4((1-S)·h+S·i)

其中，S表示归一化的特征筛选热图，conv(x)表示一系列自网络结构，由卷积、批归一化、ReLu激活函数组成，out代表最终的输出特征图，固定为64通道。需要注意的是，上述运算过程中还隐含着通道变换的步骤；

(3)构建特征金字塔网络