[发明专利]图像文本识别方法、装置、电子设备及存储介质在审
申请号: | 202010437058.8 | 申请日: | 2020-05-21 |
公开(公告)号: | CN111626293A | 公开(公告)日: | 2020-09-04 |
发明(设计)人: | 曹中强 | 申请(专利权)人: | 咪咕文化科技有限公司;中国移动通信集团有限公司 |
主分类号: | G06K9/32 | 分类号: | G06K9/32;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 苗晓静 |
地址: | 100032*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 图像 文本 识别 方法 装置 电子设备 存储 介质 | ||
1.一种图像文本识别方法,其特征在于,包括:
根据待识别图像获取图形特征和图形位置特征,所述图形特征为具有像素信息的特征,所述图形位置特征为具有2D坐标信息的特征;
根据所述图形特征和图形位置特征获得融合特征,所述融合特征为图形特征和图形位置特征融合后的特征;
对所述融合特征进行基于注意力机制的编码和解码,获得待识别图像中的文本信息。
2.根据权利要求1所述的图像文本识别方法,其特征在于,根据待识别图像获取图形位置特征,包括:
对待识别图像进行位置编码确定图像在高度方向和宽度方向上的位置编码;
根据图形特征采用平均池化处理和激活函数运算确定图像的高尺度因子和宽尺度因子;
根据图像在高度方向和宽度方向上的位置编码、高尺度因子和宽尺度因子确定图形位置特征。
3.根据权利要求2所述的图像文本识别方法,其特征在于,所述根据图像在高度方向和宽度方向上的位置编码、高尺度因子和宽尺度因子确定图形位置特征,包括:
采用2D坐标信息编码公式获得图形位置特征;
其中,所述2D坐标信息编码公式包括:
phw为位置编码,E为图形特征,α(E)为图像的高尺度因子,β(E)为图像的宽尺度因子,根据E确定,具体如下:
其中,g(.)表示平均池化,表示权重,sigmoid为激活函数;
为高度方向上的位置编码,为宽度方向上的位置编码,由如下公式获得:
其中,p为位置坐标,D为位置特征向量的长度,i为位置特征向量的长度的计算维度。
4.根据权利要求1所述的图像文本识别方法,其特征在于,所述对所述融合特征进行基于注意力机制的编码和解码,获得待识别图像中的文本信息,包括:
将所述融合特征输入到编码器中进行基于注意力机制的全局语义编码,得到编码特征;
将编码特征和文本嵌入向量输入到解码器中进行基于注意力机制的解码,得到待识别图像中的文本信息,所述文本嵌入向量为已识别出的文本字符的字符编码经一维位置编码形成的特征向量,所述文本字符为文本信息中的字符。
5.根据权利要求4所述的图像文本识别方法,其特征在于,所述将所述融合特征输入到编码器中进行基于注意力机制的全局语义编码,得到编码特征,包括:
将所述融合特征依次输入到编码器中的至少两个结构相同的层堆砌中,所述层堆砌中的全局语义注意力模块对融合特征进行全局语义编码,然后由所述层堆砌中的前馈网络输出,得到编码特征;
其中,所述全局语义注意力模块包括至少一个全局注意力功能模块和一个瓶颈模块,至少一个全局注意力功能模块依次经过层级连接后,与瓶颈模块连接。
6.根据权利要求5所述的图像文本识别方法,其特征在于,所述层堆砌中的全局语义注意力模块对融合特征进行全局语义编码,包括:
将所述融合特征依次输入到全局语义注意力模块中的至少一个全局注意力功能模块和瓶颈模块中,使全局注意力功能模块和瓶颈模块进行全局语义编码获得全局语义特征。
7.根据权利要求1所述的图像文本识别方法,其特征在于,还包括:
采用浅层卷积神经网络对待识别图像进行特征提取获取图形特征。
8.一种图像文本识别装置,其特征在于,包括:
获取模块,用于根据待识别图像获取图形特征和图形位置特征,所述图形特征为具有像素信息的特征,所述图形位置特征为具有2D坐标信息的特征;
处理模块,用于根据所述图形特征和图形位置特征获得融合特征,所述融合特征为图形特征和图形位置特征融合后的特征;
识别模块,用于对所述融合特征进行基于注意力机制的编码和解码,获得待识别图像中的文本信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于咪咕文化科技有限公司;中国移动通信集团有限公司,未经咪咕文化科技有限公司;中国移动通信集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010437058.8/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序