[发明专利]基于图像字符区域感知的端到端文本检测及识别方法

权利要求书

1.一种基于图像字符区域感知的端到端文本检测识别方法，其特征在于包括以下步骤：

1)数据准备：在两种数据集上进行实验，一种是包含单个字符包围框标注的SynthText80k；另一种是真实场景数据集，包含ICDAR 2015，CTW1500；

2)在上述两种数据集上进行特征提取和融合，得到语义更丰富特征；

3)将两种数据集中图像部分进行分割，找到图像中文本的位置；

4)利用步骤3)中图像中文本的位置，得到每一个字符位置对应的特征；

5)根据字符特征进行卷积识别，对每一个特征识别分类后，得到识别概率n表示每一个Text Box里面包含的字符的个数；

6)完成神经网络端到端训练策略，实现神经网络弱监督学习的识别反馈。

2.根据权利要求1所述的基于图像字符区域感知的端到端文本检测识别方法，其特征在于：步骤2)中两种数据集上进行特征提取和融合具体为：

步骤201)主干网络backbone使用VGG16-BN网络，分别输入两种数据集图像，通过backbone的逐层卷积，得到中间层特征，与原图相比步长分别为{4，8，16，32}，得到原始图像二分之一大小的特征图；

步骤202)将步骤201)得到的特征图输入到空间注意力模块进行计算，计算公式见公式(1)，空间注意力由最大池化、平均池化和n*n卷积操作组成，得到的空间注意力结果和特征图进行元素级相乘；

其中，σ表示sigmoid激活函数，F_nxn为3x3卷积层，表示通道连接操作，P_max为最大池化，P_avg为平均池化，A_sag(.)为空间注意力计算结果，X_i为第i层特征，最后经过注意力引导的特征可以计算如下：

其中表示元素级相乘，得到特征提取的最终特征图为F。

3.根据权利要求1所述的基于图像字符区域感知的端到端文本检测识别方法，其特征在于：步骤3)将两种数据集中图像部分进行分割具体为：

301)利用步骤2)产生的特征图F进行图像分割，预测当前像素点的位置是文本的概率，生成两个通道的特征图，即表示每一个字符中心的预测的高斯热图region_score和表示几个字符之间的联系的关系图link_score；

302)根据热图region_score，进行膨胀操作和腐蚀操作后，使用分水岭算法得到每一个字符的包围框Char Box，利用link_score将各个Char Box进行归类，得到归类到一个单词或一行的包围框Text Box，对k+1个属于同一Text box的Char Box中心坐标(x₀,y₀),…,(x_k,y_k)利用插值公式(3)得到排列方式：

其中对多项式R求导，得到每一个位置字符Char Box的角度，根据得到的角度旋转Char Box，得到最终每个拥有实际角度的Char Box，其中x为多项式未知数，x_i和x_j为k个Char Box中心坐标的两个不同点的横坐标。