[发明专利]基于全卷积角点修正网络的多向场景文字检测方法及装置

说明书

本发明公开了一种基于全卷积角点修正网络的多向场景文字检测方法及装置，包括：依据图片的视觉特征，获取融合特征；根据融合特征，分别得到初始特征、初始分数与初始包围框偏移；将初始包围框偏移进行线性变换，得到角点感知卷积的采样网格，并依据该采样网格，对初始特征进行卷积，产生角点感知特征；依据角点感知特征，获取修正分数与修正包围框偏移；根据初始包围框偏移、修正包围框偏移及预定义参考点进行解码运算，获取修正包围框，从而得到多向场景文字检测结果。本发明利用多向场景文本的几何特性进行特征采样，通过角点感知的卷积模块，扩大了有效感受野且没有冗余信息引入，解决了密集长文本和高质量检测的问题，获取更优秀的性能。

技术领域

本发明涉及文字检测领域，尤其涉及一种基于全卷积角点修正网络的多向场景文字检测方法及装置。

技术背景

场景图像的文本检测与识别是近年来的研究热点，其中文字检测是整个流程的重要部分，其任务是将图像中的文字定位出来，再送给文字识别模块，将图片中的文字转录为计算机可以编辑的形式。随着深度学习的发展，文字检测技术取得了极大的进展。现有方法主要可分为自底向上和自顶向下的方法。其中，自底向上的方法首先检测文字对象的局部包围框或是像素，再将这些结果聚合成不同文字实例；自顶向下的方法直接采用直接回归的方案，或是采用先产生建议区域、再进一步修正的方法，得到检测的文字包围框。

但上述方法存在以下缺陷：

1，基于自底向上的方法通常依赖基于手工规则的后处理操作，使得整个流程复杂化，同时，无法端到端优化的特性，使得这类方法无法取得最好的性能。

2，直接回归的方法受限于感受野，对于长文字难以得到完整的检测结果；对于两阶段的方法，其得到建议区域特征提取过程中会引入冗余的上下文信息，在网络训练的过程中引入噪声，进而影响了检测的性能。

3，现有方法很少考虑现实场景中存在的长文本和密集文本场景；同时，检测的质量也很少被考虑到，取得的检测结果往往只满足于较低阈值的指标，而实际中，高质量的检测结果更有意义也更被需求。

发明内容

针对上述问题，本发明公开了一种基于全卷积角点修正网络的多向场景文字检测方法及装置，显式的利用了多向场景文本的几何特性来进行特征采样，并将初始的预测和修正的预测联结到一起，将预测得到的结果编码到特征图之中，得到的特征图可以用来预测新的得分分数和修正后的包围框，从而获取更优秀的性能。

为了实现上述目的，本发明提供了如下的技术方案：

一种基于全卷积角点修正网络的多向场景文字检测方法，将待检测图片输入多向文字检测模型，获取多向场景文字检测结果，其中所述多向文字检测模型利用若干样本图片，通过计算多向文字检测模型的预测值与真值的损失来优化训练训练得到，所述预测值包括：初始分数、初始包围框偏移、修正分数和修正包围框偏移，所述多向文字检测模型的训练步骤包括：

1)依据样本图片的标签，获取样本图片的真值；

2)提取样本图片的视觉特征，并对视觉特征进行特征融合，得到融合特征；

3)对融合特征进行卷积，获取初始特征，并将初始特征分别输入两个不同参数的卷积层，获取初始分数与初始包围框偏移；

4)将初始包围框偏移进行线性变换，计算得到角点感知卷积的采样网格，并依据角点感知卷积的采样网格，对初始特征进行卷积，产生角点感知特征；

5)将角点感知特征分别输入两个不同参数的卷积层，获取修正分数与修正包围框偏移；

6)根据初始包围框偏移、修正包围框偏移及预定义参考点进行解码运算，得到修正包围框，并根据修正包围框与修正分数，获取该样本图片的多向场景文字检测结果。

进一步地，提取视觉特征的方法包括：使用残差网络。