[发明专利]一种公式识别方法、装置和用于公式识别的装置

说明书

本发明实施例提供了一种公式识别方法、装置和用于公式识别的装置。所述方法包括：获取实时输入的轨迹点，并对所述轨迹点进行预处理，得到轨迹点序列；将所述轨迹点序列输入预先训练的识别模型，通过所述识别模型中的编码器对所述轨迹点序列进行特征提取及编码，得到高维特征向量；通过所述识别模型中的解码器对所述高维特征向量进行信息识别及解码，得到公式识别结果。本发明实施例可以在用户手写公式的时候，对实时输入的轨迹点进行预处理，并基于预先训练的识别模型对预处理后的轨迹点系列进行识别，提高公式识别的准确率。

技术领域

本发明涉及信息识别技术领域，尤其涉及一种公式识别方法、装置和用于公式识别的装置。

背景技术

数学公式在教材、科技论文等文档中非常常见，但用户将公式输入到电子文档的操作过程比较繁琐。随着手写和电子设备之间交互技术的发展，用户可以直接通过手写的方式在电子设备上进行公式书写，

但由于数学等公式中字符的空间关系复杂，现有的公式识别方法通常会出现乱码或无法识别的情况，导致识别准确度不高，识别效果差。

发明内容

本发明实施例提供一种公式识别方法、装置和用于公式识别的装置，可以在用户手写公式的时候，对实时输入的轨迹点进行预处理，并基于预先训练的识别模型对预处理后的轨迹点系列进行识别，提高公式识别的准确率。

为了解决上述问题，本发明实施例公开了一种公式识别方法，所述方法包括：

获取实时输入的轨迹点，并对所述轨迹点进行预处理，得到轨迹点序列；

将所述轨迹点序列输入预先训练的识别模型，通过所述识别模型中的编码器对所述轨迹点序列进行特征提取及编码，得到高维特征向量；

通过所述识别模型中的解码器对所述高维特征向量进行信息识别及解码，得到公式识别结果。

可选地，所述对所述轨迹点进行预处理，得到轨迹点序列，包括：

对所述轨迹点进行重采样，得到重采样后的轨迹点；

对重采样后的轨迹点进行归一化处理，得到轨迹点序列。

可选地，所述对所述轨迹点进行重采样，得到重采样后的轨迹点，包括：

判断所述轨迹点中是否存在满足重采样条件的目标点对，所述满足重采样条件的目标点对包括：目标点对的两点之间的距离小于预设距离，和/或，目标点对的两点的连接线与预设平面之间的夹角小于预设角度；

若存在满足重采样条件的目标点对，则删除所述目标点对之间的所有点，得到重采样后的轨迹点。

可选地，所述对重采样后的轨迹点进行归一化处理，得到轨迹点序列，包括：

确定重采样后的轨迹点对应的输入笔划边界框；

根据预设边界框调整所述输入笔划边界框的尺寸；

根据调整后的输入笔划边界框对所述轨迹点进行线性缩放处理，得到轨迹点序列。

可选地，所述方法还包括：

若预设时间内未识别到新输入的轨迹点，则在当前轨迹点之后增加中止符；

按照交换概率将所述中止符之前的任意相邻笔划进行交换，得到交换后的轨迹点；

将交换后的轨迹点添加到所述轨迹点序列中。

可选地，所述将所述轨迹点序列输入预先训练的识别模型之前，所述方法还包括：

获取训练样本集，所述训练样本集包括第一类公式对应的第一样本集，以及第二类公式对应的第二样本集，所述第一类公式包含至少两种空间结构和/或所述第一类公式对应的轨迹点为连续点；所述第二类公式包含至多一种空间结构；