[发明专利]一种基于自定义标签的目标口算的定位识别方法

权利要求书

1.一种基于自定义标签的目标口算的定位识别方法，其特征在于，具体包括以下步骤：

S1口算标注：根据预先定义的字符标签，对口算公式进行标注，获得标注后的原始图像；

S2图像处理：对标注后的原始图像进行裁剪；

S3公式定位：采用可变卷积神经网络进行目标公式的训练和检测，经过可变卷积神经网络处理后，得到特征图像；再训练得出独立的公式定位模型，获得公式的检测结果，从而获得公式坐标；

S4字符定位：对每个字符进行定位检测，再对检测出的多个字符框的结果作非极大值的抑制处理，获得每个字符框的坐标可信的类别，再根据每个字符的字符框的坐标计算出字符框的中心点，从而获得字符坐标；

S5字符提取：选取坐标范围界定的参考基准，再根据判断条件筛选出中心点落在公式坐标范围内的字符，得到筛选后的字符集合；再将字符集合进行分类，并排除干扰字符；

S6公式组装：根据公式的字符坐标，结合字符标签的类别，组装公式，得到完整的公式。

2.根据权利要求1所述的基于自定义标签的目标口算的定位识别方法，其特征在于，该基于自定义标签的目标口算的定位识别方法还包括步骤S7解析判断：先对步骤S6获得的公式进行排序，再对等式前后的公式做双向检查，补全存在缺失的数学运算符，验证公式的合理性，再进行自定义标签公式的解析和正误判断。

3.根据权利要求2所述的基于自定义标签的目标口算的定位识别方法，其特征在于，所述步骤S1中对口算公式进行标注时的标注对象包括表达式和字符，所述表达式包括子表达式和公式，所述子表达式包括分式和余式；所述字符包括数字和操作符。

4.根据权利要求3所述的基于自定义标签的目标口算的定位识别方法，其特征在于，所述步骤S3中的具体步骤为：采用可变卷积神经网络，其中骨干网络使用全卷积神经网络FCN作目标公式的训练和检测，模型训练采用的输入经步骤S2处理后的图像，经过多层卷积神经网络处理后，得到特征图像；整个训练过程是针对图像中的每个字符目标中心点做预测，训练的整体损失函数如公式(1)，训练得出独立的公式定位模型，再获得公式坐标；

L_det＝L_k+L_sizeL_size+λ_offL_off (1)：

其中，L_k为字符类别损失、L_size为字符大小损失，以及L_off为字符偏置损失；λ_size为字符框大小的权重；λ_off为偏置损失的权重。