[发明专利]一种成本高效的场景文字检测方法及系统

说明书

本发明公开一种成本高效的场景文字检测方法及系统，属于图像字体识别领域，本发明首先在预训练阶段提出一种无监督域适应方法，通过消除虚拟数据和真实数据的域差异，使虚拟数据在特征上更接近真实数据，从而获得一个较好的迁移学习初始模型；其次在微调阶段提出一个半监督主动学习方法，根据真实数据的标注信息量自适应选择数据进行标注，然后同时利用有标注和无标注的真实数据进行训练，在较小标注成本的条件下尽可能提升场景文字检测性能。

技术领域

本发明属于图像字体识别领域，具体涉及一种成本高效的场景文字检测方法及系统。

背景技术

面向场景图像的文字检测与识别是计算机视觉领域的研究热点。近年来，随着深度学习的发展，场景文字的检测和识别技术取得了很大的进展。然而，深度学习模型的训练需要大量的标注数据，获取这些标注数据是非常昂贵和耗时的。为了缓解此问题，许多研究者利用大规模自动标注的虚拟数据来替代真实数据进行训练。目前，文字识别模型在虚拟与真实数据集上训练的性能是可比的，而文字检测模型在虚拟数据集上训练的性能还明显落后于在真实数据集上训练的性能。在现有的文字检测工作中，常采用一种迁移学习方法，即先将文字检测模型在大规模虚拟数据集上预训练，然后在特定场景的真实目标数据集上微调。

在预训练阶段，无标注的真实数据集没有被利用，这使得仅在虚拟数据集上预训练的模型在迁移时难以适应真实目标数据集的分布，导致次优的迁移学习性能。

在微调阶段，现有方法在整个真实目标数据集上微调仍需要很大的标注成本，而且忽略了对不同图像进行标注其获取的信息量是不同的，有的标注信息是冗余的。

发明内容

本发明的目的是提出一种成本高效的场景文字检测方法及系统，在有效节省数据标注成本的条件下获得可观的性能。首先，在预训练阶段提出一种无监督域适应方法，通过消除虚拟数据和真实数据的域差异，使虚拟数据在特征上更接近真实数据，从而获得一个较好的迁移学习初始模型。其次，在微调阶段提出一个半监督主动学习方法，根据真实数据的标注信息量自适应选择数据进行标注，然后同时利用有标注和无标注的真实数据进行训练，在较小标注成本的条件下尽可能提升场景文字检测性能。

本发明实现上述目的所采用的技术方案如下：

一种成本高效的场景文字检测方法，包括以下步骤：

利用作为源域的有标注的虚拟数据和作为目标域的无标注的真实数据，该虚拟数据和真实数据均为图像数据，对加入了熵感知的全局对齐模块和文字区域对齐模块的场景文字检测网络进行预训练，其中熵感知的全局对齐模块对源域和目标域的特征图进行对齐来减小域差异，文字区域对齐模块对分类分支网络预测的分类置信度大于置信度阈值的文字候选区域的特征进行对齐，训练后得到预训练模型；

利用预训练模型进行基于不确定性度量的主动学习，从目标域的真实数据中选取若干图像进行人工标注，得到人工标注的真实数据，利用该人工标注的真实数据重新训练一个新的场景文字检测网络；

利用预训练模型和重新训练后的场景文字检测网络，对目标域剩余的真实数据进行增强伪标注，得到增强伪标注的真实数据；

利用所述人工标注的真实数据和所述增强伪标注的真实数据，对预训练模型进行微调；

对微调后的预训练模型移除熵感知的全局对齐模块和文字区域对齐模块，得到参数更新后的场景文字检测网络，利用该参数更新后的场景文字检测网络处理待检测场景图像，得到任意形状的文字检测结果；