[发明专利]一种基于实例感知成分合并网络的曲线文字定位方法

说明书

本发明公开了一种基于实例感知成分合并网络的曲线文字定位方法，具体包括如下步骤：步骤1，在场景文字数据集官网下载场景文字图像数据集，将数据集划分为训练集和测试集；步骤2，设计一种ICMN网络结构；步骤3，定义ICMN网络目标损失函数；步骤4，制作训练样本集；步骤5，制作真值集合；步骤6，将训练样本集和对应的真值集合送入ICMN网络中训练，得到网络模型；步骤7，从测试集中取出一张图像，用曲线文字检测算法对图像进行多边形文字成分检测，将检测的多边形对迭代送入ICMN网络模型中进行多边形成分合并，得到合并后的文字实例多边形。本发明解决了场景文本检测方法对文本实例中相邻或相交文本成分的合并问题，提高了场景文本检测算法的性能。

技术领域

本发明属于图像处理技术领域，涉及一种基于实例感知成分合并网络的曲线文字定位方法。

背景技术

近年来，自然场景文字信息提取已越来越广泛地应用于多语言翻译，自主导航，信息检索，产品和对象识别中。文字提取包括文字检测和文字识别，作为文字识别的重要前提，文字检测在很大程度上吸引了众多学者和行业研究人员的关注。随着卷积神经网络(CNNs)的发展和广泛应用，许多基于深度学习的方法在自然场景文字检测方面取得了显著的效果。基于深度学习的文字检测方法大致可以分为自顶向下和自底向上两类方法。自顶向下的方法也被称为基于回归的方法，通常采用流行的目标检测器在单词或行级注释的监督下对文字所在的矩形和四边形进行位置回归。由于文字的形状，大小和方向的差异以及相应的CNN模型的结构限制，基于回归的方法无法处理任意形状的文本实例。自底向上方法首先用CNN检测文本部件，然后将这些部件分组到文本实例中。与基于回归的方法相比，自底向上方法在检测任意形状文本方面具有更大的灵活性，但在处理长文本时经常会出现将其检测为多个文字成分而不是一个完整的文本实例，从而破坏语义的连贯性导致后续不完整的语义识别。

为了进一步提高曲线文本检测结果的文本实例完整性，避免在处理长文本行或单词时不准确的部件分组，有必要把属于一个长文本实例中相邻或相交的文本成分进行有效合并，因此需要设计一种基于文本实例感知的成分合并网络(Instance-aware ComponentMerging Network,ICMN)，可以有效合并一个文字实例中相邻或相交的文本子部分，定位完整的文字实例多边形结果，提高曲线场景文本检测算法的性能。

发明内容

本发明的目的是提供一种基于实例感知成分合并网络的曲线文字定位方法，解决了场景文本检测方法在文本实例中相邻或相交的文本成分的合并问题，提高了场景文本检测算法的性能。

本发明所采用的技术方案是，一种基于实例感知成分合并网络的曲线文字定位方法，具体包括如下步骤：

步骤1，在场景文字数据集官网下载SCUT-CTW1500或Total-Text曲线场景文字图像数据集D，按I:J的个数比例将D划分为训练文字图像数据集TR＝{tr_i|i＝1,2...I}和测试文字图像数据集TE＝{te_j|j＝1,2...J}，其中tr_i是TR中的第i幅文字图像，te_j是TE中的第j幅文字图像，I和J分别是TR和TE中的图像个数；

步骤2，设计一种ICMN网络结构；

步骤3，定义ICMN网络的目标损失函数L，L＝L_cls+λL_reg，其中L_cls表示文字成分合并或不合并二分类损失值，L_reg表示文字实例的空间坐标回归损失值，λ是超参数；

步骤4，制作训练样本集Mtrain；

步骤5，制作真值集合Gs；

步骤6，设置网络模型训练参数，将训练样本集Mtrain以及对应的真值集合Gs送入ICMN网络中进行训练，当目标函数L收敛或者达到迭代设置次数时，结束网络训练，输出网络模型M_ICMN；