[发明专利]一种基于端到端全卷积神经网络的场景文本检测方法

权利要求书

1.一种基于端到端全卷积神经网络场景文本检测方法，其特征在于，包括以下步骤：

S1、获取用于训练显著性检测的多组图像数据集，并定义算法目标；

S2、利用全卷积特征提取网络对组内图像进行特征学习；

S3、对特征图上的每个样本点预测实例级别的仿射变换矩阵，并根据预测的仿射变换变形采样网格并进行卷积操作对文本进行特征表达，输出特征图V：

其中w为卷积核，w(p,q)为卷积核在(p,q)位置的参数值，k×k为卷积核大小，v_xy为V上点(x,y)处的特征向量，θ_xy为S31步骤中在(x,y)处预测的仿射变换矩阵，为原采样网格位置(x+p,y+q)经过仿射变换后的新采样网格点坐标；

S4、对候选文本的特征向量进行分类，同时进行坐标回归和仿射变换回归，联合优化模型；

S5、使用由S1～S4建立的端到端联合学习框架检测文本的精确位置；

S6、对网络输出的包围框集合进行非极大值抑制得到最终文本检测结果。

2.如权利要求1所述的基于端到端全卷积神经网络场景文本检测方法，其特征在于，步骤S1中，对于用于场景文本检测的多组图像数据集中的一幅图像I，定义算法目标为：检测图像内的文本区域其中d_i为第i个文本区域包围框，K为I中的文本样本数量。

3.如权利要求2所述的基于端到端全卷积神经网络场景文本检测方法，其特征在于，步骤S2中，利用全卷积特征提取网络对图像进行特征学习具体包括：

S21、提取每张图像在不同尺度上的深度特征；

S22、选取三个尺度的特征图并对尺寸较小的两层特征图进行上采样使得三层特征图尺寸匹配，对三个尺度的特征图进行拼接处理，得到融合的多尺度特征图M。

4.如权利要求3所述的基于端到端全卷积神经网络场景文本检测方法，其特征在于，步骤S3中，对特征图M上的每个样本点预测实例级别的仿射变换矩阵具体包括：

使用一层卷积操作，对M上每个像素点针对其对应的文本实例预测一个六维的仿射变换θ，输出与M尺寸匹配的仿射变换参数图Θ。

5.如权利要求4所述的基于端到端全卷积神经网络场景文本检测方法，其特征在于，步骤S4中，对候选文本的特征向量进行分类，同时进行坐标回归和仿射变换回归，联合优化模型具体包括：

S41、对v_xy进行softmax分类，判别属于文本类或非文本；

S42、对θ_xy利用smooth L1损失函数进行回归，利用最小二乘法计算出的从样本点(x,y)所对应原图中的区域到目标文本区域之间的仿射变换矩阵作为监督信息；

S43、利用θ_xy计算文本粗略位置并在v_xy上利用smooth L1损失函数回归文本区域包围框顶点粗略坐标和精确坐标之间的偏移量。

6.如权利要求5所述的基于端到端全卷积神经网络场景文本检测方法，其特征在于，步骤S5中，使用由S1～S4建立的端到端联合学习框架检测文本的精确位置具体包括：

基于由S1～S4建立的端到端联合学习框架，输入测试图像即真值监督信息，通过最小化损失函数学习得到V上每个样本点处所预测的区域是否为文本区域及判定为文本区域的样本点处所回归处的精确位置信息。

7.如权利要求6所述的基于端到端全卷积神经网络场景文本检测方法，其特征在于，步骤S6中，对网络输出的包围框集合进行非极大值抑制得到最终文本检测结果具体包括：

在网络输出中，消除重叠率高于第一阈值的区域中分数低于第二阈值的包围框，以去除冗余的重复检测，得到最终的检测结果。