[发明专利]基于字符分割的多方向自然场景文本检测方法

说明书

本发明公开了一种基于字符分割的多方向自然场景文本检测方法，包括获取训练数据集并标定；建立基于字符分割的多方向自然场景文本检测初步模型；用标定的训练数据对基于字符分割的多方向自然场景文本检测初步模型进行训练得到基于字符分割的多方向自然场景文本检测模型；采用基于字符分割的多方向自然场景文本检测模型对自然场景的文本进行检测。本发明采用基于实例分割的方法分割文字字符实例，因此可以不必考虑文字的排列方向；同时，本方法结合了双向长短期记忆网络提取字符的上下文信息，预测字符之间的亲和度，从而可以更准确地将字符组合为文本行；因此，本发明方法可靠性高、实用性好且准确率较高。

技术领域

本发明属于图像处理领域，具体涉及一种基于字符分割的多方向自然场景文本检测方法。

背景技术

随着经济技术的发展，自然场景的文本检测也开始逐步应用于人们的生产和生活，在无人驾驶、文档管理、视觉辅助等领域发挥了巨大的作用。

然而，从自然场景图像中定位文字区域是一项具有挑战性的任务。场景中的文字常常表现出不同的尺度，完整性和紧密性等特征，并且通常以随机方向排列，如水平，垂直和倾斜等，导致常规算法在检测文字的同时还需要考虑其排列方向。

日趋流行的深度学习技术已经引入到自然场景多方向文本检测研究中，并且获得了较好的性能。这些方法大致可以分为以下三类：第一类是基于锚点框回归的方法，研究者们通过手工设计的多尺度锚点框以回归多方向排列的场景文字。此类方法能够有效地解决单词间隔较长以及图像对比度低的问题，缺点是大量的手工设计是不可避免的。第二类是基于实例分割的方法，即检测多方向的文字时，直接提取文字字符实例而不用考虑其排列方向，从而快速准确地提取图像中的文字。第三类是无法划分至前两类的其它方法，如笔划宽度转换算法、骨架提取算法、最大极值区域算法等，均取得了不错的文本检测性能。

目前，基于实例分割的方法由于无需考虑文字字符的排列方向，因此受到大多数研究者们的青睐。然而，基于实例分割的方法不能很好地区分不同的文字实例，即可能会将多个彼此非常接近的文字实例误认为同一个文字实例。

发明内容

本发明的目的在于提供一种能够解决多方向排列文字检测和文字实例误分问题，而且可靠性高、实用性好、准确率较高的基于字符分割的多方向自然场景文本检测方法。

本发明提供的这种解决多方向排列文字检测和文字实例误分的问题，包括如下步骤：

S1.获取训练数据集，并对训练数据集进行标定；

S2.建立基于字符分割的多方向自然场景文本检测初步模型；所述基于字符分割的多方向自然场景文本检测初步模型为金字塔网络框架+双向长短期记忆网络的检测模型；

S3.用步骤S1标定的训练数据对步骤S2建立的基于字符分割的多方向自然场景文本检测初步模型进行训练，从而得到基于字符分割的多方向自然场景文本检测模型；

S4.采用步骤S3得到的基于字符分割的多方向自然场景文本检测模型，对自然场景的文本进行检测。

步骤S1所述的获取训练数据集，并对训练数据集进行标定，具体为在公共数据集ICDAR2013与ICDAR2015上进行标定；标定字符和字符间的亲和度；在各字符中心的中点为字符间亲和度的中点，宽高分别为两字符宽高之和的一半。

步骤S2所述的基于字符分割的多方向自然场景文本检测初步模型为金字塔网络框架+双向长短期记忆网络的检测模型，具体为金字塔网络框架的第一阶段到第五阶段的卷积层均采用ResNet50网络，在每一个阶段均设置一个上采样操作；同时在金字塔网络后，再连接一个双向长短期记忆网络。

步骤S3所述的用步骤S1标定的训练数据对步骤S2建立的基于字符分割的多方向自然场景文本检测初步模型进行训练，从而得到基于字符分割的多方向自然场景文本检测模型，具体为采用如下步骤进行训练并得到检测模型：