[发明专利]一种融合双通道的三层架构数学公式识别方法、系统和存储设备

权利要求书

1.一种融合双通道的三层架构数学公式识别方法，其特征在于，包括步骤：

通过编码层对输入图片进行特征提取，所述特征包括：区域视觉信息；

通过注意力层捕获区域视觉信息的上下文，生成context向量；

通过解码层对所述context向量进行解码，生成公式对应的数学标记语言文件。

2.根据权利要求1所述的一种融合双通道的三层架构数学公式识别方法，其特征在于，所述“通过编码层对输入图片进行特征提取”，还包括步骤：

使用DenseNet作为编码器；

通过使用Dense网络作为主干网络对输入图片进行视觉信息提取；

在所述编码器中融合有空间注意力模块和通道注意力模块。

3.根据权利要求1所述的一种融合双通道的三层架构数学公式识别方法，其特征在于，所述“通过编码层对输入图片进行特征提取”前，还包括步骤：

在所述输入图片数据中添加mask掩码信息，对填充的部分额外增加一个通道，所述通道用来记录填充的信息。

4.根据权利要求2所述的一种融合双通道的三层架构数学公式识别方法，其特征在于，所述“通过编码层对输入图片进行特征提取”，还包括步骤：

所述空间注意力模块分别对输入特征图进行平均池化和最大池化得到两个维度相同的特征图，对所述两个维度相同的特征图按照通道进行拼接后通过sigmoid函数得到一个空间注意力矩阵，所述空间注意力矩阵与所述输入特征图相乘得空间注意力特征图；

所述通道注意力模块分别对输入特征图进行全局平均池化和全局最大池化得到两个特征图，输入所述两个特征图至共享的多层感知机中得两个向量，并将所述两个向量相加再和所述输入特征图相乘得到通道注意力特征图。

5.根据权利要求1所述的一种融合双通道的三层架构数学公式识别方法，其特征在于，所述注意力层设置有coverage向量，所述coverage向量用于表示过往时刻的所有注意力机制的累加和；

所述注意力计算公式为：

exp_ti＝f_att(a_i，h_t-1)

z_t＝φ({a_i，a_ti})

其中f_att表示一个多层感知机，a_i是解码器输出中的一个向量，对应图像中的一个区域，h_t-1是上个单元的隐藏层输出，a_ti表示第t时间步第i个向量的注意力权值，c表示coverage向量，a_l表示第l个时间步的注意力权值，z_t表示注意力机制的输出，φ表示将注意力权值施加到图像区域。

6.根据权利要求1所述的一种融合双通道的三层架构数学公式识别方法，其特征在于，所述解码层采用GRU循环神经网络进行解码。

7.根据权利要求6所述的一种融合双通道的三层架构数学公式识别方法，其特征在于，所述“生成公式对应的数学标记语言文件”，还包括步骤：

对编码层的输出使用集束搜索算法选取输出得分最高的序列作为最终的输出序列。

8.一种融合双通道的三层架构数学公式识别系统，其特征在于，包括：编码层、注意力层和解码层；

所述编码层用于：对输入图片进行特征提取，所述特征包括：区域视觉信息；

所述注意力层用于：捕获区域视觉信息的上下文，生成context向量；

所述解码层用于：对所述context向量进行解码，生成公式对应的数学标记语言文件。