[发明专利]一种视觉问答方法、装置及电子设备

说明书

本公开提供了一种视觉问答方法、装置及电子设备，涉及计算机视觉领域，尤其涉及深度学习和云计算技术领域。具体实现方案为：获取输入图像以及所述输入图像对应的输入文本；确定所述输入图像对应的第一图像特征及所述文本对应的文本特征；基于所述第一图像特征和所述文本特征进行至少两次融合处理，得到融合特征；基于所述融合特征确定所述输入图像对应的输出信息。

技术领域

本公开涉及计算机视觉领域，尤其涉及视觉问答领域的视觉问答方法、装置及电子设备。

背景技术

在客户服务等场景中，通常需要智能客服机器人对用户提出的问题进行回答。因此，如何针对用户提出的问题进行精准的回答是视觉问答领域一直追求的目标。

发明内容

本公开提供了一种视觉问答方法、装置及电子设备。

根据本公开的第一方面，提供了一种视觉问答方法，包括：

获取输入图像以及所述输入图像对应的输入文本；

确定所述输入图像对应的第一图像特征及所述文本对应的文本特征；

基于所述第一图像特征和所述文本特征进行至少两次融合处理，得到融合特征；

基于所述融合特征确定所述输入图像对应的输出信息。

根据本公开的第二方面，提供了一种视觉问答装置，所述视觉问答装置包括：

获取模块，用于获取输入图像以及所述输入图像对应的输入文本；

第一确定模块，用于确定所述输入图像对应的第一图像特征及所述文本对应的文本特征；

特征融合模块，用于基于所述第一图像特征和所述文本特征进行至少两次融合处理，得到融合特征；

第二确定模块，用于基于所述融合特征确定所述输入图像对应的输出信息。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的视觉问答方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的视觉问答方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现根据上述的视觉问答方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开实施例提供的视觉问答方法的一种处理流程示意图；

图2是本公开实施例提供的视觉问答方法的一种详细处理流程示意图；

图3是本公开实施例提供的卷积神经网络模型对输入图像进行处理的示意图；

图4是本公开实施例提供的输入图像经卷积层处理的示意图；

图5是本公开实施例提供的经卷积层处理得到的特征经池化层处理的示意图；

图6是本公开实施例提供的语言处理模型对文本进行学习的示意图；