[发明专利]一种基于关联性层级残差的多实例自然场景文本检测方法

权利要求书

1.基于关联性层级残差的多实例自然场景文本检测方法，其特征在于，包括以下步骤：

步骤一，采用基于关联性层级残差的特征提取网络对原始输入图像进行特征提取，从而得到从低级到高级的包含丰富文本信息的不同尺度特征图；其中，关联性层级残差为，Conv2-Conv5构成为1×1卷积、3×3卷积组和1×1卷积，并附带残差连接以便简化深度神经网络的学习目标和难度，其中3×3卷积组是实现细粒度特征提取的关键，它首先将1x1卷积生成的特征图沿通道维度平均分为4个子特征图，第1个子特征图x₁直接被输出作为y₁；之后的每个子特征图x_i在经过一个3×3卷积操作K_i后才得到输出y_i；而且从第3个子特征图开始，x_i会加上前一个子特征图的输出y_i-1，然后再进行3×3卷积操作；最后将4个子特征图的输出沿通道维度合并即得到总输出y；

步骤二，对步骤一中提取的不同尺度特征图进行反向逐级特征融合，从而得到多尺度融合特征图；

步骤三，对步骤二输出的多尺度融合特征图采用特征映射进行文本区域检测，输出一个像素级的文本分数特征图以及一个文本区域几何特征图，以此可以表征候选预测文本区域；

步骤四，对步骤三中生成的所有候选预测文本区域，根据每个候选预测文本区域的分数先预先进行简单的筛选和剔除，分数阈值设定为0.5；

步骤五，使用局部感知非极大值抑制算法对步骤四剩余候选预测文本区域进行合并和筛选，从而得到准预测文本区域；

步骤六，对步骤五得到的所有准预测文本区域计算其区域平均分数，对区域平均分数低于阈值为0.1的区域进行剔除，从而得到最终的预测文本区域，及检测结果；

并且包含一个训练过程，使用若干公开的常用文本检测数据集对应用了步骤一至步骤五多实例自然场景文本检测模型进行训练；

训练过程中使用反向传播，不断更新模型参数，直到损失收敛，保存模型的参数；

步骤七，使用步骤六中保存的模型参数和结构构成多实例自然场景文本检测模型。

2.根据权利要求1所述的基于关联性层级残差的多实例自然场景文本检测方法，其特征在于，步骤一中，基于关联性层级残差的特征提取网络基于ResNet-50的骨干网络引入了关联性层级残差结构，这样能够提取粗粒度与细粒度相结合的精确且完备的多尺度文本特征，在特征提取环节，原始输入图像通过5个卷积层Conv1-Conv5逐步获取了从低级到高级的不同尺度的粗粒度特征信息，经过每个卷积层之后的特征图尺寸依次变为原图的1/2、1/4、1/8、1/16和1/32；另外Conv2-Conv5中引入了关联性层级残差结构用于相邻不同尺度特征图之间的细粒度特征提取；这样提取过程中生成的不同尺度特征图f1、f2、f3、f4就同时包含了粗粒度与细粒度相结合的多尺度特征信息。

3.根据权利要求1所述的基于关联性层级残差的多实例自然场景文本检测方法，其特征在于，步骤二中，反向逐级特征融合从Conv5生成的特征图f₁开始，先对f₁进行上采样并输出尺寸为原特征图2倍的特征图，这样输出后的特征图尺寸和Conv4生成的特征图f₂一致，可以直接沿通道维度将两者进行合并；另外在特征图合并之后，还附加了1×1，3×3的两个卷积操作用于降低通道维度和减少参数计算量；这样按此方式依次进行，最终不同尺度的特征图f₁、f₂、f₃和f₄逐级融合完成，融合后的特征图尺寸为1/4原始输入图像大小；此外还添加了一个3×3的卷积层来生成最终的多尺度特征融合图。

4.根据权利要求1所述的基于关联性层级残差的多实例自然场景文本检测方法，其特征在于，步骤三中，对多尺度特征融合图进行特征映射采用的是1×1卷积操作；然后输出的像素级的文本分数特征图以及文本区域几何特征图分别表示特征图中每个像素点是否在文本区域内，以及每个像素点到所属文本区域的边界距离和像素点所属文本区域倾斜角度，以此可以表征候选预测文本区域。