[发明专利]一种手写文档文本的检测识别方法

权利要求书

1.一种手写文档文本的检测识别方法，其特征在于：包括文本行定位和文本行检测两部分；

文本行定位网络使用变形的VGG-11，对一张图片经过网络训练，回归得到(x₀，y₀)坐标、尺度s₀、旋转度θ₀以及文本行出现的可能性p₀，从而在图片上找到文本行可能的开始位置；

文本行检测网络增量地沿着文本行前向传播，通过文本行定位网络得到的文本行开始位置和旋转角度(x_i，y_i，θ_i)，重新采样获得一个查看窗口，输入到CNN网络回归得到下一个位置的(x_i+1，y_i+1，θ_i+1)，一直重复此过程直到达到图片边缘，最终产生归一化的文本行图片，输入到文本行识别网络，文本行识别网络识别文本行图片并输出识别结果。

2.根据权利要求1所述的手写文档文本的检测识别方法，其特征在于：输入到所述文本行定位网络前，先对数据集进行处理，输出所有的文本行图片，同时输出json标注信息，包括图像路径、每一行文本的区域坐标、每一行中每一个字所在区域的坐标以及每一行文本的文字内容。

3.根据权利要求1或2所述的手写文档文本的检测识别方法，其特征在于：所述文本行定位网络的处理方法，包括以下几个步骤：

S1.读取图像标签json文件，遍历json文件，剔除标注错误的部分；

S2.将输入图像resize到512像素宽，并且在整张图片上采样256*256个图像patch，允许每个patch使用该图像patch边缘的平均颜色填充扩展到图像外部；

S3.将每一个16*16的输入图像块输入到变形的VGG-11网络进行训练，经过网络训练回归得到(x₀，y₀)坐标、尺度s₀、旋转度θ₀以及文本行出现的可能性p₀；

S4.经过训练后，使得p₀＝1，(x₀，y₀)坐标、尺度s₀和旋转度θ₀等于0；

S5.使用文本行定位模块确定图片中文本行开始位置之后，文本行检测网络沿着文本行的路径增量逐步前进，确定出完成的文本行区域。

4.根据权利要求3所述的手写文档文本的检测识别方法，其特征在于：所述变形的VGG-11网络删除了经典的VGG-11网络中的全连接层以及最后一个池化层，其所有卷积层都是同样大小的卷积核，尺寸为3*3，步长stride为1，填充padding为1。

5.根据权利要求3或4所述的手写文档文本的检测识别方法，其特征在于：所述步骤S4中，训练过程使用针对多框目标检测问题提出的损失函数，在最大概率预测的文本行开始位置和目标位置之间对齐，其损失函数如下所示：

其中，t_m是目标位置，p_n是SOL出现的可能性，Xnm是N个预测位置和M个目标位置之间的一个双向对齐矩阵，α是衡量位置loss和置信度loss之间相对重要性的参数，默认取0.01，l_n是对卷积神经网络的初始预测结果(x_n，y_n，s_n，θ_n)的代数变换，给定(l，p，t)计算使得L最小的Xnm，l_n的计算公式如下：

l_n＝(-sin(θ_n)s_n+x_n,-cos(θ_n)s_n+y_n,sin(θ_n)s_n+x_n,cos(θ_n)s_n+y_n)。