[发明专利]信息识别方法、装置、电子设备及存储介质

说明书

本公开是关于一种信息识别方法、装置、电子设备及存储介质，其方法包括：获取待识别图像；获取每行文字的图像特征、文字内容特征和文字内容特征在待识别图像中的位置特征；将每行文字的图像特征、文字内容特征和位置特征进行拼接，得到多行文字的多模态特征；将多行文字的多模态特征输入到训练后的预设模型中，输出每行文字分别对应的指针位置，其中，每行文字对应的指针位置用于表征该行文字所对应的输出位置。可见，在对待识别图像进行文字识别时，会结合每行文字的图像特征、文字内容特征和文字内容特征在待识别图像中的位置特征，来调整多行文字的输出位置，使得多行文字的输出位置更加准确，进而所得的文字识别结果可以保持语义上的连贯性。

技术领域

本公开涉及信息技术领域，尤其涉及一种信息识别方法、装置、电子设备及存储介质。

背景技术

随着科技的不断发展，OCR(Optical Character Recognition,光学文字识别)技术也得到很大的发展，用户可以通过相关应用程序很方便的识别出图像上面的文字。然而，对于文字或者背景中的信息比较丰富的图片，例如海报或者某些视频画面等，通过现有技术识别出的结果往往不能满足用户的需要。

发明内容

为克服相关技术中存在的问题，本公开提供一种信息识别方法、装置、电子设备及存储介质。

根据本公开实施例的第一方面，提供一种信息识别方法，包括：

获取待识别图像，所述待识别图像包括多行文字；

分别获取每行文字的图像特征、文字内容特征和所述文字内容特征在所述待识别图像中的位置特征；

将所述每行文字的图像特征、文字内容特征和位置特征进行拼接，得到所述多行文字的多模态特征；

将所述多行文字的多模态特征输入到训练后的预设模型中，输出每行文字分别对应的指针位置，其中，每行文字对应的指针位置用于表征该行文字所对应的输出位置。

可选的，所述预设模型的训练过程，包括：

获取训练样本图像，所述训练样本图像包含多行文字；

提取所述训练样本图像的样本特征，所述样本特征包括所述训练样本图像的多行文字的图像特征、文字内容特征和所述文字内容特征在对应样本图像中的位置特征；

将所述样本特征输入预设模型中，得到所述训练样本图像的每行文字分别对应的样本指针位置，通过目标损失函数计算所述样本指针位置与预先标注的所述训练样本图像的每行文字对应的标注指针位置之间的损失值，在所述损失值小于阈值时，得到训练后的预设模型。

可选的，所述方法还包括：

基于所述待识别图像中每行文字分别对应的指针位置，对所述待识别图像中的多行文字进行排序，得到排序结果；

按照所述排序结果显示所述待识别图像所包括的所述多行文字。

可选的，所述获取每行文字的图像特征，包括：

通过卷积神经网络提取每行文字的图像特征，所述图像特征包括：文字大小特征、文字颜色特征、纹理特征和背景特征中的一种或几种组合。

可选的，所述图像特征、文字内容特征和所述位置特征，分别为256维的特征向量，所述多模态特征为将所述图像特征、文字内容特征和所述位置特征拼接后得到的256*3维度的特征向量。

根据本公开实施例的第二方面，提供了一种信息识别装置，包括：

图像获取模块，被配置为执行获取待识别图像，所述待识别图像包括多行文字；

特征获取模块，被配置为执行分别获取每行文字的图像特征、文字内容特征和所述文字内容特征在所述待识别图像中的位置特征；