[发明专利]一种公式识别方法、装置和用于公式识别的装置

权利要求书

1.一种公式识别方法，其特征在于，所述方法包括：

获取实时输入的轨迹点，并对所述轨迹点进行预处理，得到轨迹点序列；

将所述轨迹点序列输入预先训练的识别模型，通过所述识别模型中的编码器对所述轨迹点序列进行特征提取及编码，得到高维特征向量；

通过所述识别模型中的解码器对所述高维特征向量进行信息识别及解码，得到公式识别结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述轨迹点进行预处理，得到轨迹点序列，包括：

对所述轨迹点进行重采样，得到重采样后的轨迹点；

对重采样后的轨迹点进行归一化处理，得到轨迹点序列。

3.根据权利要求2所述的方法，其特征在于，所述对所述轨迹点进行重采样，得到重采样后的轨迹点，包括：

判断所述轨迹点中是否存在满足重采样条件的目标点对，所述满足重采样条件的目标点对包括：目标点对的两点之间的距离小于预设距离，和/或，目标点对的两点的连接线与预设平面之间的夹角小于预设角度；

若存在满足重采样条件的目标点对，则删除所述目标点对之间的所有点，得到重采样后的轨迹点。

4.根据权利要求2所述的方法，其特征在于，所述对重采样后的轨迹点进行归一化处理，得到轨迹点序列，包括：

确定重采样后的轨迹点对应的输入笔划边界框；

根据预设边界框调整所述输入笔划边界框的尺寸；

根据调整后的输入笔划边界框对所述轨迹点进行线性缩放处理，得到轨迹点序列。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若预设时间内未识别到新输入的轨迹点，则在当前轨迹点之后增加中止符；

按照交换概率将所述中止符之前的任意相邻笔划进行交换，得到交换后的轨迹点；

将交换后的轨迹点添加到所述轨迹点序列中。

6.根据权利要求1所述的方法，其特征在于，所述将所述轨迹点序列输入预先训练的识别模型之前，所述方法还包括：

获取训练样本集，所述训练样本集包括第一类公式对应的第一样本集，以及第二类公式对应的第二样本集，所述第一类公式包含至少两种空间结构和/或所述第一类公式对应的轨迹点为连续点；所述第二类公式包含至多一种空间结构；

根据所述第一样本集对初始的识别模型进行训练，得到训练后的第一模型；

根据所述第二样本集对所述第一模型进行训练，得到第二模型；

调整所述第二模型的模型参数，并根据所述第一样本集和/或所述第二样本集，对调整后的第二模型进行迭代训练，所述第二模型对应的损失值小于预设阈值得到训练完成的识别模型。

7.根据权利要求1所述的方法，其特征在于，所述通过所述识别模型中的解码器对所述高维特征向量进行信息识别及解码，得到公式识别结果，包括：

获取所述高维特征向量中各个子向量的解码状态；

若所述子向量的解码状态为未解码，则对所述子向量设置第一权重值；

若所述子向量的解码状态为已解码，则对所述子向量设置第二权重值，所述第二权重值小于所述第一权重值；

对各个子向量进行加权求和，得到调整后的高维特征向量；

通过所述识别模型中的解码器对调整后的高维特征向量进行信息识别及解码，得到公式识别结果。

8.根据权利要求1所述的方法，其特征在于，所述解码器包括至少两个解码层，所述通过所述识别模型中的解码器对所述高维特征向量进行信息识别及解码，得到公式识别结果，包括：

将所述高维特征向量输入至所述识别模型中的解码器，通过所述解码器的至少两个解码层对所述高维特征向量进行解码；

在各解码层的解码过程中，基于混合注意力机制识别所述高维特征向量中的关键信息并解码，得到当前时刻的目标字符，直至解码结束得到目标字符组成的公式识别结果，所述目标字符包括数学字符和结构字符。