[发明专利]一种多题型识别方法、装置和计算机设备

权利要求书

1.一种多题型识别方法，用于对图像中包含的可能属于多种题型的题目进行识别，其特征在于，所述方法包括如下步骤：

识别所述图像中的题目区域，使各题目区域包含一种题型的题目；

对所述题目区域进行结构特征提取，得到题目类型特征；

使用训练好的基于神经网络的识别模型，对所述各题目区域分别进行题型的识别，得到各题目区域的题型，所述识别模型基于题目区域的深层结构特征进行题型识别，该深层结构特征对浅层结构特征图进行二次结构特征提取获得的。

2.根据权利要求1所述的多题型识别方法，其特征在于，所述使用训练好的基于神经网络的识别模型，对所述各题目区域分别进行题型的识别包括：

通过第一神经网络模型对所述各题目区域进行一次结构特征提取，得到第一特征图，该第一特征图包含各题目的浅层结构特征；

通过第二神经网络模型对所述第一特征图进行二次结构特征提取，得到第二特征图，该第二特征图包含各题目的深层结构特征。

3.根据权利要求2所述的多题型识别方法，其特征在于，

所述深层结构特征包括以下的至少一种：文字与文字空位的空间结构分布信息、文字与图形的空间结构分布信息、不同行文字的关系、题目题干的位置信息和内容、以及文字之间的空位与文字的分布信息。

4.根据权利要求3所述的多题型识别方法，其特征在于，

所述文字与文字空位的空间结构分布信息包括以下的至少一种：文字空位与文字行或文字之间的上下或左右结构分布信息；文字空位夹设于两列文字行之间的夹设结构分布信息；多行文字行的同列分布信息；两列文字行之间间隔设置的结构分布信息；选项文字行与题干文字行的上下结构分布信息；选项文字行之间的左右结构分布信息和上下结构分布信息；文字空位成行或成列的分布信息；题干文字行之间的上下结构分布信息；文字段与题干文字行的上下结构分布信息；题干文字行与选项文字行的上下结构分布信息；文字段与选项文字行的上下结构分布信息；选项文字行之间的上下结构分布信息；和/或

所述文字与图形的空间结构分布信息包括：文字行与图表之间的上下结构分布信息和左右结构分布信息。

5.根据权利要求2所述的多题型识别方法，其特征在于，

所述浅层结构特征包括边缘信息、纹理信息、图形结构信息、文字分布信息和颜色信息。

6.根据权利要求2所述的多题型识别方法，其特征在于，所述题目题型识别模型是在所述第一神经网络模型和所述第二神经网络的基础上增加全连接层和题目类型分类器得到的。

7.根据权利要求6所述的多题型识别方法，其特征在于，对所述各题目区域分别进行题目题型的识别，得到各题目区域的题型包括：

输出各题目区域属于所有预定题型的置信度；

根据所述置信度得到各题目区域的题型。

8.一种多题型识别装置，用于对图像中包含的可能属于多种题型的题目进行识别，其特征在于，所述装置包括：

题目识别模块，用于识别所述图像中的题目区域，使各题目区域包含一种题型的题目；

特征提取模块，用于对所述题目区域进行结构特征提取，得到题目类型特征；

题型识别模型，使用训练好的基于神经网络的识别模型，对所述各题目区域分别进行题目题型的识别，得到各题目区域的题型，所述识别模型基于题目区域的深层结构特征进行题型识别，该深层结构特征对浅层结构特征图进行二次结构特征提取获得的。

9.一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，其特征在于：

当所述计算机程序被所述处理器执行时，所述处理器执行如权利要求1-7中任一项所述的多题型识别方法。

10.一种计算机程序产品，存储有计算机可执行程序，其特征在于，所述计算机可执行程序被执行时，实现如权利要求1-7中任一项所述的多题型识别方法。