[发明专利]图像描述信息的生成方法及其系统、电子设备及存储介质

说明书

本发明公开了一种图像描述信息的生成方法及其系统、电子设备及存储介质，涉及人工智能领域，其中，该生成方法包括：接收待处理图像，并对待处理图像进行分割，得到多张分割后的子图像，基于子图像以及每张子图像对应的图像序列信息，构建初始特征向量，向初始特征向量注入预设权重信息，得到权重特征向量，对权重特征向量进行解码，生成候选信息序列，并解析候选信息序列，得到多个图像描述信息，选取最高评估分值表征的图像描述信息作为待处理图像的目标图像描述信息。本发明解决了相关技术中生成的图像描述信息存在逻辑混乱以及情感分析容易出现歧义的技术问题。

技术领域

本发明涉及人工智能领域，具体而言，涉及一种图像描述信息的生成方法及其系统、电子设备及存储介质。

背景技术

随着人工智能技术的快速发展，深度学习技术正在凭借结构复杂的神经网络，以学习能力可随着数据规模的增加而不断提升其性能，以及可以直接从海量数据中提取特征等技术优势，为各行各业提供智能创新场景，如图像描述生成场景。

相关技术中，针对图像描述生成这一任务，往往采用Encoder-Decoder模型(编码器-解码器模型)框架作为底层架构来构建描述生成模型。图像描述生成任务分为Encoder和Decoder两部分，即使用CNN(卷积神经网络)网络对输入图片进行解析、物体识别，并将图像信息编码，传入Decoder解码器中，解码器内使用基于RNN(循环神经网络)网络(如，LSTM(长短时记忆神经网络)、BiLSTM(双向长短时记忆神经网络)等神经网络)的网络模型对图片编码信息解码，并生成对应的文字描述。

当前的图像描述方法虽然可以将图片内所含行为信息与物体信息表达出来，但具有如下缺陷：(1)情感分析歧义：由于大部分形容词没有极性，只有搭配名词才会出现极性，因此，会存在逻辑歧义，例如，对于“大”这个形容词，“屏幕大”则倾向为正面表述，但“噪音大”，却倾向为负面表示；对于“高”这个形容词，“性价比高”，则为正面表述，但“油价高”，则为负面表述等。(2)语义混乱、缺失：由于单张图片缺少上下文信息参考，所以往往在生成图片描述的时候会发生主次对象颠倒、动作归属错误的问题，例如，小马骑人、天空在海洋里、人在马肚子里行走等不符合逻辑的错误描述。

因此，亟需找到能够解决由于图像描述生成的文本逻辑混乱、翻译语句不符合语言语法规则，导致生成的描述需要反复修改，造成效率低下、精准度低的问题的有效解决方案。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像描述信息的生成方法及其系统、电子设备及存储介质，以至少解决相关技术中生成的图像描述信息存在逻辑混乱以及情感分析容易出现歧义的技术问题。

根据本发明实施例的一个方面，提供了一种图像描述信息的生成方法，包括：接收待处理图像，并对所述待处理图像进行分割，得到多张分割后的子图像；基于所述子图像以及每张所述子图像对应的图像序列信息，构建初始特征向量；向所述初始特征向量注入预设权重信息，得到权重特征向量；对所述权重特征向量进行解码，生成候选信息序列，并解析所述候选信息序列，得到多个图像描述信息，其中，每个所述图像描述信息对应有一个信息评估分值；选取最高评估分值表征的图像描述信息作为所述待处理图像的目标图像描述信息。

可选地，在接收待处理图像之后，还包括：获取预设图像信息，其中，所述预设图像信息包括下述至少之一：颜色、边界、灰度；基于所述预设图像信息，对所述待处理图像进行预处理。

可选地，对所述待处理图像进行分割，得到多张分割后的子图像的步骤，包括：对所述待处理图像进行识别，得到目标信息，其中，所述目标信息包括下述至少之一：物体、场景；基于所述目标信息，对所述待处理图像进行分割，得到多张分割后的所述子图像。