[发明专利]图像文本识别方法、装置、电子设备及存储介质

权利要求书

1.一种图像文本识别方法，其特征在于，包括：

根据待识别图像获取图形特征和图形位置特征，所述图形特征为具有像素信息的特征，所述图形位置特征为具有2D坐标信息的特征；

根据所述图形特征和图形位置特征获得融合特征，所述融合特征为图形特征和图形位置特征融合后的特征；

对所述融合特征进行基于注意力机制的编码和解码，获得待识别图像中的文本信息。

2.根据权利要求1所述的图像文本识别方法，其特征在于，根据待识别图像获取图形位置特征，包括：

对待识别图像进行位置编码确定图像在高度方向和宽度方向上的位置编码；

根据图形特征采用平均池化处理和激活函数运算确定图像的高尺度因子和宽尺度因子；

根据图像在高度方向和宽度方向上的位置编码、高尺度因子和宽尺度因子确定图形位置特征。

3.根据权利要求2所述的图像文本识别方法，其特征在于，所述根据图像在高度方向和宽度方向上的位置编码、高尺度因子和宽尺度因子确定图形位置特征，包括：

采用2D坐标信息编码公式获得图形位置特征；

其中，所述2D坐标信息编码公式包括：

p_hw为位置编码，E为图形特征，α(E)为图像的高尺度因子，β(E)为图像的宽尺度因子，根据E确定，具体如下：

其中，g(.)表示平均池化，表示权重，sigmoid为激活函数；

为高度方向上的位置编码，为宽度方向上的位置编码，由如下公式获得：

其中，p为位置坐标，D为位置特征向量的长度，i为位置特征向量的长度的计算维度。

4.根据权利要求1所述的图像文本识别方法，其特征在于，所述对所述融合特征进行基于注意力机制的编码和解码，获得待识别图像中的文本信息，包括：

将所述融合特征输入到编码器中进行基于注意力机制的全局语义编码，得到编码特征；

将编码特征和文本嵌入向量输入到解码器中进行基于注意力机制的解码，得到待识别图像中的文本信息，所述文本嵌入向量为已识别出的文本字符的字符编码经一维位置编码形成的特征向量，所述文本字符为文本信息中的字符。

5.根据权利要求4所述的图像文本识别方法，其特征在于，所述将所述融合特征输入到编码器中进行基于注意力机制的全局语义编码，得到编码特征，包括：

将所述融合特征依次输入到编码器中的至少两个结构相同的层堆砌中，所述层堆砌中的全局语义注意力模块对融合特征进行全局语义编码，然后由所述层堆砌中的前馈网络输出，得到编码特征；

其中，所述全局语义注意力模块包括至少一个全局注意力功能模块和一个瓶颈模块，至少一个全局注意力功能模块依次经过层级连接后，与瓶颈模块连接。

6.根据权利要求5所述的图像文本识别方法，其特征在于，所述层堆砌中的全局语义注意力模块对融合特征进行全局语义编码，包括：

将所述融合特征依次输入到全局语义注意力模块中的至少一个全局注意力功能模块和瓶颈模块中，使全局注意力功能模块和瓶颈模块进行全局语义编码获得全局语义特征。

7.根据权利要求1所述的图像文本识别方法，其特征在于，还包括：

采用浅层卷积神经网络对待识别图像进行特征提取获取图形特征。

8.一种图像文本识别装置，其特征在于，包括：

获取模块，用于根据待识别图像获取图形特征和图形位置特征，所述图形特征为具有像素信息的特征，所述图形位置特征为具有2D坐标信息的特征；

处理模块，用于根据所述图形特征和图形位置特征获得融合特征，所述融合特征为图形特征和图形位置特征融合后的特征；

识别模块，用于对所述融合特征进行基于注意力机制的编码和解码，获得待识别图像中的文本信息。