[发明专利]图片问答方法及装置

说明书

本公开是关于一种图片问答方法及装置，包括接收图片和与所述图片相关的问题；通过CNN提取所述图片的图像特征向量；通过第一RNN提取所述问题的编码特征向量；将所述图像特征向量和所述编码特征向量进行拼接，得到联合特征向量；通过解码神经网络对所述联合特征向量进行解码，生成所述问题的答案；其中，所述CNN、第一RNN和解码神经网络是在三者作为整体网络的情况下，以端到端的方式训练得到的神经网络。根据本公开实施例的图片问答方法及装置能够生成与图片相关的问题的答案，且各步骤采用的CNN、第一RNN和解码神经网络是在三者作为一个整体的情况下，进行端到端的训练下得到的，消除了累计误差，提高了问答的准确率。

技术领域

本公开涉及信息处理技术领域，尤其涉及图片问答方法及装置。

背景技术

随着信息处理技术的发展，智能问答技术受到越来越多的关注，智能问答系统可以以一问一答的形式自动回答用户提出的问题。例如，针对图片的问答系统，就是向该问答系统提供一个图片和针对该图片的问题，智能问答系统可以自动的回答该问题。这样可以帮助视觉障碍者了解世界。相关技术中，智能问答系统提供的答案的准确率较低。

发明内容

为克服相关技术中存在的问题，本公开提供一种图片问答方法及装置，能够针对图片的问题，提供较为准确的答案。

根据本公开实施例的第一方面，提供一种图片问答方法，包括：接收图片和与所述图片相关的问题；通过CNN提取所述图片的图像特征向量；通过第一循RNN提取所述问题的编码特征向量；将所述图像特征向量和所述编码特征向量进行拼接，得到联合特征向量；通过解码神经网络对所述联合特征向量进行解码，生成所述问题的答案；其中，所述CNN、第一RNN和解码神经网络是在三者作为整体网络的情况下，以端到端的方式训练得到的神经网络。

在一种可能的实现方式中，通过CNN提取所述图片的图像特征向量包括：将接收到的图片缩放到固定尺寸，得到标准图像；将所述标准图像输入CNN中；将所述CNN的输出结果，确定为所述图片的图像特征向量。

在一种可能的实现方式中，通过第一RNN提取所述问题的编码特征向量包括：将所述问题进行分词，得到所述问题对应的词嵌入序列；将所述词嵌入序列输入所述第一RNN中；将所述第一RNN的输出结果，确定为所述问题的编码特征向量。

在一种可能的实现方式中，所述解码神经网络为多层神经网络MLP，通过解码神经网络对所述联合特征向量进行解码，生成所述问题的答案包括：将所述联合特征向量输入MLP网络，得到特征集；使用分类器对所述特征集进行分类，得到所述特征集的类别；将所述特征集的类别，确定为所述问题的答案。

在一种可能的实现方式中，所述解码神经网络为RNN网络，通过解码神经网络对所述联合特征向量进行解码，生成所述问题的答案包括：将所述联合特征向量输入第二RNN中；将所述第二RNN的输出结果确定为所述问题的答案。

根据本公开实施例的第二方面，提供一种图片问答装置，包括：接收模块，用于接收图片和与所述图片相关的问题；第一提取模块，用于通过卷积神经网络CNN提取所述图片的图像特征向量；第二提取模块，用于通过第一循环神经网络RNN提取所述问题的编码特征向量；拼接模块，用于将所述图像特征向量和所述编码特征向量进行拼接，得到联合特征向量；生成模块，用于通过解码神经网络对所述联合特征向量进行解码，生成所述问题的答案；其中，所述CNN、第一RNN和解码神经网络是在三者作为整体网络的情况下，以端到端的方式训练得到的神经网络。

在一种可能的实现方式中，第一提取模块包括：缩放子模块，用于将接收到的图片缩放到固定尺寸，得到标准图像；图像输入子模块，用于将所述标准图像输入CNN中；第一确定子模块，用于将所述CNN的输出结果，确定为所述图片的图像特征向量。