[发明专利]一种化学公式识别系统及方法在审
申请号: | 202010723122.9 | 申请日: | 2020-07-24 |
公开(公告)号: | CN111832530A | 公开(公告)日: | 2020-10-27 |
发明(设计)人: | 吴炳璋;姚璐 | 申请(专利权)人: | 上海掌学教育科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06N3/04;G06N3/08 |
代理公司: | 北京酷爱智慧知识产权代理有限公司 11514 | 代理人: | 向霞 |
地址: | 201901 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 化学 公式 识别 系统 方法 | ||
1.一种化学公式识别系统,其特征在于,所述系统包括:
输入单元,用于以图像的形式获取待识别的化学公式;
预处理单元,用于对待识别的化学公式进行图像预处理;
识别单元,用于:
基于已训练的深度卷积神经网络模型对预处理后的图像进行特征提取,所述特征包括图像的横、纵向的特征;
再将提取到的特征输入所述深度卷积神经网络模型,最终解码得到公式文本。
2.根据权利要求1所述的一种化学公式识别系统,其特征在于,所述预处理单元具体包括:
将图像的大小进行归一化,得到归一化后的图片;
获取所述图片中最黑点的灰度值,将所述图片中所有的像素点的灰度值减去最黑点的灰度值,以得到各像素点的中间值;
之后根据下列第一公式对各像素点的中间值进行处理,以得到第一处理值;其中,所述第一公式为y=255-x,y为第一处理值,x为各像素点的中间值;
再将所述第一处理值按第二公式进行处理,以得到后续用于编码解码的数据;其中,所述第二公式为y/255。
3.根据权利要求1所述的一种化学公式识别系统,其特征在于,所述深度卷积神经网络模型通过以下步骤训练所得:
构建多个化学公式的图像及其对应的文本数据集;
对各化学公式的图像进行预处理;
通过多层卷积神经网络对预处理之后的图像进行信息提取,得到c个m*n大小的矩阵,c为卷积结果的通道数,m为卷积神经网络提取特征的矩阵的高,n为卷积神经网络提取特征的矩阵的宽;
再将每一行的数据作为循环神经网络的输入,在得到每一行的循环神经网络输出之后,连结每一行的输出并按照顺续附加上每一列的输出,作为注意力机制的输入,使得所述注意力机制识别到图像的横、纵向的特征;
通过所述注意力机制进行解码,以得到训练的识别结果;
将所述识别结果与其对应所匹配的文本进行对比,得出残差,之后根据残差进行反向传播,更新模型的参数;
迭代次数到达预设次数后,将最优的一次迭代所得到的参数进行保存,以得到最终的所述深度卷积神经网络模型。
4.根据权利要求2所述的一种化学公式识别系统,其特征在于,所述归一化后的图片中像素点的范围在250至750个。
5.一种化学公式识别方法,其特征在于,应用于权利要求1中所述的一种化学公式识别系统,所述方法包括:
以图像的形式获取待识别的化学公式;
对待识别的化学公式进行图像预处理;
基于已训练的深度卷积神经网络模型对预处理后的图像进行特征提取,所述特征包括图像的横、纵向的特征;
再将提取到的特征输入所述深度卷积神经网络模型,最终解码得到公式文本。
6.根据权利要求5所述的一种化学公式识别方法,其特征在于,所述预处理具体包括:
将图像的大小进行归一化,得到归一化后的图片;
获取所述图片中最黑点的灰度值,将所述图片中所有的像素点的灰度值减去最黑点的灰度值,以得到各像素点的中间值;
之后根据下列第一公式对各像素点的中间值进行处理,以得到第一处理值;其中,所述第一公式为y=255-x,y为第一处理值,x为各像素点的中间值;
再将所述第一处理值按第二公式进行处理,以得到后续用于编码解码的数据;其中,所述第二公式为y/255。
7.根据权利要求5所述的一种化学公式识别方法,其特征在于,所述深度卷积神经网络模型通过以下步骤训练所得:
构建多个化学公式的图像及其对应的文本数据集;
对各化学公式的图像进行预处理;
通过多层卷积神经网络对预处理之后的图像进行信息提取,得到c个m*n大小的矩阵,c为卷积结果的通道数,m为卷积神经网络提取特征的矩阵的高,n为卷积神经网络提取特征的矩阵的宽;
再将每一行的数据作为循环神经网络的输入,在得到每一行的循环神经网络输出之后,连结每一行的输出并按照顺续附加上每一列的输出,作为注意力机制的输入,使得所述注意力机制识别到图像的横、纵向的特征;
通过所述注意力机制进行解码,以得到训练的识别结果;
将所述识别结果与其对应所匹配的文本进行对比,得出残差,之后根据残差进行反向传播,更新模型的参数;
迭代次数到达预设次数后,将最优的一次迭代所得到的参数进行保存,以得到最终的所述深度卷积神经网络模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海掌学教育科技有限公司,未经上海掌学教育科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010723122.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:含银复合抗菌剂
- 下一篇:一种多功能发光装饰牌