[发明专利]图像文本识别方法、装置、电子设备及存储介质

说明书

本发明实施例提供一种图像文本识别方法、装置、电子设备及存储介质，该方法包括：根据待识别图像获取图形特征和图形位置特征，所述图形特征为具有像素信息的特征，所述图形位置特征为具有2D坐标信息的特征；根据所述图形特征和图形位置特征获得融合特征，所述融合特征为图形特征和图形位置特征融合后的特征；根据所述融合特征获得待识别图像中的文本信息。本发明实施例提供的图像文本识别方法、装置、电子设备及存储介质，通过对待识别图像进行2D位置编码，使对待识别图像分析得到的图形特征具有方向位置上的信息，从而有效的应对物品上文字分布多样性的情况，提高识别准确率。

技术领域

本发明涉及视频技术领域，尤其涉及一种图像文本识别方法、装置、电子设备及存储介质。

背景技术

当前的场景文字识别成为计算机视觉行业研究的热点领域之一，有着广泛的应用前景。比如广告牌识别、车牌识别、银行卡信息录入等场景。但在实际应用中，受限于图像模糊、文字排列角度不规则、背景复杂等因素，高质量的场景文字识别也是一项艰巨的任务。

针对场景文字排列规则的情况，目前存在很多方案可以完成较好的文本识别效果，但针对场景文字排列不规则的情况，其文本识别效果较差。

发明内容

针对现有技术存在的问题，本发明实施例提供一种图像文本识别方法、装置、电子设备及存储介质。

第一方面，本发明实施例提供一种图像文本识别方法，包括：

根据待识别图像获取图形特征和图形位置特征，所述图形特征为具有像素信息的特征，所述图形位置特征为具有2D坐标信息的特征；

根据所述图形特征和图形位置特征获得融合特征，所述融合特征为图形特征和图形位置特征融合后的特征；

对所述融合特征进行基于注意力机制的编码和解码，获得待识别图像中的文本信息。

进一步地，对待识别图像获取图形位置特征，包括：

对待识别图像进行位置编码确定图像在高度方向和宽度方向上的位置编码；

根据图形特征采用平均池化处理和激活函数运算确定图像的高尺度因子和宽尺度因子；

根据图像在高度方向和宽度方向上的位置编码、高尺度因子和宽尺度因子确定图形位置特征。

进一步地，所述根据图像在高度方向和宽度方向上的位置编码、高尺度因子和宽尺度因子确定图形位置特征，包括：

采用2D坐标信息编码公式获得图形位置特征；

其中，所述2D坐标信息编码公式包括：

为位置编码，E为图形特征，α(E)为图像的高尺度因子，β(E)为图像的宽尺度因子，根据E确定，具体如下；

其中，g(.)表示平均池化,表示权重，sigmoid为激活函数；

为高度方向上的位置编码，为宽度方向上的位置编码，由如下公式获得：

其中，p为位置坐标，D为位置特征向量的长度，i为位置特征向量的长度的计算维度。

进一步地，所述对所述融合特征进行基于注意力机制的编码和解码，获得待识别图像中的文本信息，包括：

将所述融合特征输入到编码器中进行基于注意力机制的全局语义编码，得到编码特征；