[发明专利]一种在自然场景图像中检测文本的方法及装置

说明书

一种在自然场景图像中检测文本的方法及装置，用以解决现有技术中从不同复杂程度的自然场景图像中检测文本精度较低的问题。该方法包括：获取自然场景图像，通过FCN模型，对获取的自然场景图像进行卷积运算，得到自然场景图像的卷积特征，根据自然场景图像的卷积特征，确定自然场景图像中包括的文本候选区域序列，针对文本候选区域序列中的每一文本候选区域，执行：通过感兴趣区域池化层，提取文本候选区域的卷积特征，并通过特征变换，将文本候选区域的卷积特征，转化为固定维度k的特征向量，根据时间递归网络模型和固定维度k的特征向量，确定文本候选区域中包括的文本行的位置，其中k为正整数。

技术领域

本申请涉及文本检测技术领域，尤其涉及一种在自然场景图像中检测文本的方法及装置。

背景技术

自然场景图像，是指由各种拍摄设备(例如，照相机、具有拍摄功能的手机等)，在没有特定限制的条件下，直接对生活中真实存在的场景拍摄的图像。自然场景图像中的文本可提供丰富的语义信息，例如，自然场景图像中标识街道、车牌、菜单等的文本信息，能够辅助人们方便的理解场景信息，因此，在自然场景图像中准确检测出文本是很有必要的。但是，由于自然场景图像中文本的字体、颜色、格式等差异以及高度杂乱的背景等因素，在自然场景图像中检测文本是一项具有挑战性的工作。

目前，在自然场景图像中检测文本的方法可以分为两大类，分别为：基于滑动窗口的检测方法和基于连通域的检测方法。具体的：

基于滑动窗口的检测方法的工作原理是：使用不同尺度的滑动窗口扫描原始自然场景图像，得到一系列可能包括有文本的自然场景图像子区域，提取这些子区域的纹理特征，并使用提取的纹理特征训练分类器，验证子区域是否包括有文本，该方法通过多尺度滑动窗口以一定的步长在自然场景图像中不断滑动来提取子区域，提取的过程及其耗时，并且使用低级别的纹理特征验证子区域是否包括有文本，使其检测效果不佳。

基于连通域的检测方法的工作原理是：通过字符像素点的色彩、字符的笔画宽度等特征，从自然场景图像中提取连通区域，分析连通区域的特征，通过字符合并规则，得到文本字符串，验证字符串，移除非文字，得到最终检测结果，该方法仅适合处理背景较为简单的自然场景图像。

上述两种方法均通过低级别的特征，例如字符的笔画宽度、图像纹理特征等，来区分自然场景图像中文本和背景，检测精度较低，因此，如何从不同复杂程度的自然场景图像中准确的检测文本是亟待解决的问题。

发明内容

本申请提供一种在自然场景图像中检测文本的方法及装置，用以解决现有技术中从不同复杂程度的自然场景图像中检测文本精度较低的问题。

第一方面，本申请提供了一种在自然场景图像中检测文本的方法，在该方法中，首先获取自然场景图像，通过全卷积网络(fully convolutional networks，FCN)模型，对所述获取的自然场景图像进行卷积运算，得到所述自然场景图像的卷积特征，根据所述自然场景图像的卷积特征，确定所述自然场景图像中包括的文本候选区域序列，针对所述文本候选区域序列中的每一文本候选区域，执行：通过感兴趣区域池化层(roi-pooling)，提取所述文本候选区域的卷积特征，并通过特征变换，将所述文本候选区域的卷积特征，转化为固定维度k的特征向量，根据时间递归网络模型和固定维度k的特征向量，确定所述文本候选区域中包括的文本行的位置，其中k为正整数，所述文本候选区域序列中的每一文本候选区域至少包括一个文本行，所述文本行为所述文本候选区域中包括的单行文本。