[发明专利]公式识别方法、装置、电子设备和存储介质

权利要求书

1.一种公式识别方法，其特征在于，包括：

确定待识别公式图像；

将所述待识别公式图像输入至公式识别模型，得到所述公式识别模型输出的多个候选识别结果；

将任一候选识别结果中候选公式包含的每一子结构的类型输入至结构分析模型，得到所述结构分析模型输出的所述任一候选识别结果对应的结构置信度；

基于每一候选识别结果及其对应的结构置信度，确定所述待识别公式图像对应的公式识别结果；

其中，所述公式识别模型是基于样本公式图像及其对应的样本公式识别结果训练得到的；所述结构分析模型是基于样本公式包含的每一子结构的类型训练得到的。

2.根据权利要求1所述的公式识别方法，其特征在于，所述将任一候选识别结果中候选公式包含的每一子结构的类型输入至结构分析模型，得到所述结构分析模型输出的所述任一候选识别结果对应的结构置信度，具体包括：

将任一候选识别结果中候选公式包含的任一子结构的类型，以及所述任一子结构之前的子结构的类型输入至所述结构分析模型的子结构置信度确定层，得到所述子结构置信度确定层输出的所述任一子结构的子结构置信度；

将每一子结构的子结构置信度输入至所述结构分析模型的置信度融合层，得到所述置信度融合层输出的所述任一候选识别结果对应的结构置信度。

3.根据权利要求2所述的公式识别方法，其特征在于，所述将任一候选识别结果中候选公式包含的任一子结构的类型，以及所述任一子结构之前的子结构的类型输入至所述结构分析模型的子结构置信度确定层，得到所述子结构置信度确定层输出的所述任一子结构的子结构置信度，具体包括：

将所述任一子结构的上一子结构的类型以及上一时刻对应的隐藏状态输入至所述子结构置信度确定层的隐藏状态计算层，得到所述隐藏状态计算层输出的当前时刻对应的隐藏状态；

将所述当前时刻对应的隐藏状态输入至所述子结构置信度确定层的子结构预测层，得到所述子结构预测层输出的当前时刻对应的子结构预测结果；

将所述任一子结构的类型以及所述子结构预测结果输入至所述子结构置信度确定层的置信度提取层，得到所述置信度提取层输出的所述任一子结构的子结构置信度。

4.根据权利要求1所述的公式识别方法，其特征在于，所述将所述待识别公式图像输入至公式识别模型，得到所述公式识别模型输出的多个候选识别结果，具体包括：

将所述待识别公式图像输入至所述公式识别模型的图像特征编码层，得到所述图像特征编码层输出的所述待识别公式图像中每一区域的图像特征编码；

将每一区域的图像特征编码以及上一解码时刻的解码状态输入至所述公式识别模型的上下文编码层，得到所述上下文编码层输出的当前解码时刻的图像上下文编码；

将当前解码时刻的解码状态和图像上下文编码，以及上一解码时刻的候选解码结果输入至所述公式识别模型的解码层，得到所述解码层输出的当前解码时刻的候选解码结果；

其中，所述当前解码时刻的解码状态是基于当前解码时刻的图像上下文编码，以及上一解码时刻的解码状态和候选解码结果确定的；

所述多个候选识别结果为最终解码时刻的候选解码结果。

5.根据权利要求4所述的公式识别方法，其特征在于，所述将每一区域的图像特征编码以及上一解码时刻的解码状态输入至所述公式识别模型的上下文编码层，得到所述上下文编码层输出的当前解码时刻的图像上下文编码，具体包括：

将每一区域对应的图像特征编码以及上一解码时刻的解码状态输入至所述上下文编码层的注意力权重确定层，得到所述注意力权重确定层输出的每一区域对应的图像特征编码的注意力权重；

将每一区域对应的图像特征编码及其注意力权重输入至所述上下文编码层的融合编码层，得到所述融合编码层输出的当前解码时刻的图像上下文编码。