[发明专利]一种化学公式识别系统及方法

说明书

本发明公开了一种化学公式识别系统及方法，所述系统包括：输入单元，用于以图像的形式获取待识别的化学公式；预处理单元，用于对待识别的化学公式进行图像预处理；识别单元，用于：基于已训练的深度卷积神经网络模型对预处理后的图像进行特征提取，所述特征包括图像的横、纵向的特征；再将提取到的特征输入所述深度卷积神经网络模型，最终解码得到公式文本；其效果是：通过图像识别和深度学习网络，对图像中化学公式的横、纵向信息进行结合处理，进而提高了公式录入效率以及准确率，节省了人力物力。

技术领域

本发明涉及图像识别技术领域，具体涉及一种化学公式识别系统及方法。

背景技术

教育行业中，在录入试卷题目时，需要人工将试卷上的文字，公式手动输入到电脑中，这样会花费大量的人工和时间成本，并且在输入公式时，较容易出错。如果可以通过机器识别公式并自动录入，将会大大提高效率并且降低成本。但是现有算法不能准确的识别出化学公式，在卷积神经网络部分，只使用了图片信息的横向关系，没有考虑到化学公式中的纵向信息。有鉴于此，为了提高录入题目的效率和准确性，我们提出了一种针对化学公式识别的技术方案。

发明内容

本发明实施例的目的是提供一种化学公式识别系统及方法，以解决现有技术中，不能准确的识别出化学公式的缺陷。

第一方面：一种化学公式识别系统，所述系统包括：

输入单元，用于以图像的形式获取待识别的化学公式；

预处理单元，用于对待识别的化学公式进行图像预处理；

识别单元，用于：

基于已训练的深度卷积神经网络模型对预处理后的图像进行特征提取，所述特征包括图像的横、纵向的特征；

再将提取到的特征输入所述深度卷积神经网络模型，最终解码得到公式文本。

作为本发明的一个优选的技术方案，所述预处理单元具体包括：

将图像的大小进行归一化，得到归一化后的图片；

获取所述图片中最黑点的灰度值，将所述图片中所有的像素点的灰度值减去最黑点的灰度值，以得到各像素点的中间值；

之后根据下列第一公式对各像素点的中间值进行处理，以得到第一处理值；其中，所述第一公式为y＝255-x，y为第一处理值，x为各像素点的中间值；

再将所述第一处理值按第二公式进行处理，以得到后续用于编码解码的数据；其中，所述第二公式为y/255。

作为本发明的一个优选的技术方案，所述深度卷积神经网络模型通过以下步骤训练所得：

构建多个化学公式的图像及其对应的文本数据集；

对各化学公式的图像进行预处理；

通过多层卷积神经网络对预处理之后的图像进行信息提取，得到c个m*n大小的矩阵，c为卷积结果的通道数，m为卷积神经网络提取特征的矩阵的高，n为卷积神经网络提取特征的矩阵的宽；

再将每一行的数据作为循环神经网络的输入，在得到每一行的循环神经网络输出之后，连结每一行的输出并按照顺续附加上每一列的输出，作为注意力机制的输入，使得所述注意力机制识别到图像的横、纵向的特征；

通过所述注意力机制进行解码，以得到训练的识别结果；

将所述识别结果与其对应所匹配的文本进行对比，得出残差，之后根据残差进行反向传播，更新模型的参数；

迭代次数到达预设次数后，将最优的一次迭代所得到的参数进行保存，以得到最终的所述深度卷积神经网络模型。