[发明专利]文档图像勾选框状态识别后输出文本行内容的方法及系统

权利要求书

1.一种文档图像勾选框状态识别后输出文本行内容的方法，所述勾选框状态包括未勾选状态、一次打印/二次套打勾选状态、二次打印勾选状态以及手写勾选状态，其特征在于，所述方法包括以下步骤：

步骤1：输入原始图像，对原始图像进行预处理；

步骤2：通过文本框对原始图像中的文本行分别进行定位，根据所有文本行的方向角度获得原始图像的方向角度，根据所述原始图像的方向角度对原始图像及文本框进行方向校正，输出方向校正后的原始图像和文本框，对方向校正后的文本框内的文本行内容进行识别，并通过文本框定位出勾选框区域；

步骤3：对包含勾选框区域的文本框进行边界扩大得到标记搜索框，裁剪出标记搜索框图像，根据标记搜索框图像识别勾选框状态；

步骤4：基于步骤3所识别的勾选框状态对步骤2所识别的文本框内的文本行内容进行修正，输出修正后的文本行内容。

2.根据权利要求1所述的文档图像勾选框状态识别后输出文本行内容的方法，其特征在于，步骤1中对原始图像进行预处理后，使得经预处理的原始图像满足全卷积神经网络边界条件。

3.根据权利要求1所述的文档图像勾选框状态识别后输出文本行内容的方法，其特征在于，步骤2具体包括以下步骤：

步骤21：采用全卷积神经网络通过文本框对原始图像中的文本行分别进行定位，并获得所有文本行的方向角度；

步骤22：将所有文本行的方向角度进行平均得到原始图像的方向角度；

步骤23：根据所述原始图像的方向角度将原始图像旋转到字头朝上位置；

步骤24：输出方向校正后的原始图像；

步骤25：基于整行文字识别技术通过预训练的整行文字识别模型对文本框内的文本行内容进行识别，并通过文本框定位出勾选框区域。

4.根据权利要求3所述的文档图像勾选框状态识别后输出文本行内容的方法，其特征在于，所述步骤25中，所述整行文字识别技术为基于卷积循环神经网络模型CRNN网络的整行文字识别技术。

5.据权利要求4所述的文档图像勾选框状态识别后输出文本行内容的方法，其特征在于，所述步骤25对整行文字识别模型进行预训练过程如下：

在步骤24进行方向校正后，标注文本框对应的文本行信息，无需标注字符分割信息，直接送入卷积循环神经网络模型CRNN网络，采用基于连接的时间分类CTC技术计算Loss函数，进行梯度更新，得到预训练的整行识别网络模型。

6.根据权利要求1所述的文档图像勾选框状态识别后输出文本行内容的方法，其特征在于，所述步骤3具体包括：

步骤31：对包含勾选框区域的文本框向上下左右四个方向进行边界扩展得到标记搜索框；

步骤32：裁剪出标记搜索框图像，对标记搜索框图像的勾选框状态进行识别。

7.根据权利要求6所述的文档图像勾选框状态识别后输出文本行内容的方法，其特征在于，所述步骤31具体包括：

对于上下两个方向：

向上扩展一个文本行的高度，如果与其他文本行有交叠，则以其他文本行的下边界为边界；

向下扩展一个文本行的高度，如果与其他文本行有交叠，则以其他文本行的上边界为边界，

对于左右两个方向：

如果勾选框区域在行首，则以文本行左边界为中心，中心向左扩展1-10个字符高度的距离，如果与其他文本行有交叠，则以其他文本行的右边界为边界；中心向右扩展1-10个字符高度的距离，如果与其他文本行的左边界有交叠，则以其他文本行的左边界为界，或者扩展的右边界超过了文本行的右边界，则以文本行的右边界为界；

如果勾选框区域在行尾，则以文本行右边界为中心，中心向右扩展1-10个字符高度的距离，如果与其他文本行有交叠，则以其他文本行的左边界为界；中心向左扩展1-10个字符高度的距离，如果与其他文本行的右边界有交叠，则以其他文本行的右边界为界，或者扩展的左边界小于文本行的左边界，则以文本行的左边界为界；

如果勾选框区域在行中，则以勾选框区域为中心，中心向右扩展1-10个字符高度的距离，后向左扩展1-10个字符高度的距离。