[发明专利]基于图像的数据处理方法、装置、电子设备和存储介质

说明书

本公开的实施例提供了一种基于图像的数据处理方法、装置、电子设备和计算机可读存储介质。在该方法中，响应于关于图像所输入的查询，基于对象与属性之间的预定映射来确定与图像中呈现的对象相关联的属性。此外，基于对象和属性来确定对象与查询之间的相关度。进一步地，基于对象与查询之间的相关度来提供查询的响应。本公开的实施例可以提高基于图像的数据处理系统的性能。

技术领域

本公开的实施例一般地涉及信息处理技术领域，并且更特别地，涉及一种基于图像的数据处理方法、装置、电子设备和计算机可读存储介质。

背景技术

视觉问答(VQA)是一种涉及计算机视觉和自然语言处理的信息处理技术。视觉问答系统通常以某个图像和关于该图像的形式自由的、开放式的自然语言问题作为输入，以生成针对该问题的自然语言答案作为输出。这样的问题可以认为是用户关于图像的一种查询，而视觉问答系统提供的答案可以认为是针对该查询的响应。因此，用户可以向视觉问答系统输入图像，然后向视觉问答系统提出关于该图像的查询。在视觉问答系统给出响应后，用户可以判断该响应是否正确，由此来考察视觉问答系统对图像的理解能力。更一般地，视觉问答系统可以认为是一种基于图像的数据处理系统。

然而，传统的基于图像的数据处理系统提供的响应在准确率方面仍然较低，在很多场合下无法满足用户的需求，造成了不良的用户体验。

发明内容

本公开的实施例涉及一种基于图像的数据处理方法、装置、电子设备和计算机可读存储介质。

在本公开的第一方面，提供了一种基于图像的数据处理方法。该方法包括：响应于关于图像所输入的查询，基于对象与属性之间的预定映射，来确定与图像中呈现的对象相关联的属性。该方法还包括：基于对象和属性来确定对象与查询之间的相关度。该方法进一步包括：基于相关度来提供查询的响应。

在本公开的第二方面，提供了一种基于图像的数据处理装置。该装置包括：属性确定模块，被配置为响应于关于图像所输入的查询，基于对象与属性之间的预定映射，来确定与图像中呈现的对象相关联的属性。该装置还包括：相关度确定模块，被配置为基于对象和属性来确定对象与查询之间的相关度。该装置进一步包括：响应提供模块，被配置为基于相关度来提供查询的响应。

在本公开的第三方面，提供了一种电子设备。该电子设备包括一个或多个处理器；以及存储装置，用于存储一个或多个程序。当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其他特征通过以下的描述将变得容易理解。

附图说明

通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得容易理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施例，其中：

图1A-图1C示出了用于由基于图像的数据处理系统来处理的三个示例性图像；

图2A-图2C示出了采用注意力机制的传统方案的基于图像的数据处理系统的关注区域的示意图；

图3示出了本公开的一些实施例能够在其中实现的示例环境的示意图；

图4示出了根据本公开的实施例的基于图像的数据处理的方法的示意性流程图；

图5A-图5C示出了根据本公开的实施例的基于图像的数据处理系统的关注区域的示意图；

图6示出了根据本公开的实施例的示例性基于图像的数据处理系统的结构框图；