[发明专利]数据描述方法及装置、计算机可读介质和电子设备

说明书

本公开提供一种数据描述方法及装置、计算机可读介质和电子设备，涉及数据处理技术领域。该方法包括：获取输入数据；确定输入数据的第一特征信息以及确定用于描述输入数据的至少一种目标数据类型；获取目标数据类型对应的描述数据以及描述数据关联的第二特征信息；根据第一特征信息和第二特征信息从描述数据中匹配目标描述数据，以基于目标描述数据跨模态表征描述输入数据。本公开能够根据输入数据与描述数据的特征信息，匹配目标描述数据，基于目标描述数据跨模态表征描述输入数据，不仅能够有效提升数据匹配转换效率，同时有效降低计算量，使多模态数据之间的转换能够在移动终端上实现，降低部署成本。

技术领域

本公开涉及数据处理技术领域，具体涉及一种数据描述方法、数据描述装置、计算机可读介质和电子设备。

背景技术

伴随着人们生活水平的不断提高，智能手机、ipad等移动终端在人们的生活中越来越重要。文本检索图像技术和图像生成文本技术是两个最常见的图文多模态任务。

目前，相关的技术方案中的文本检索图像的任务与图像生成文本的任务，不仅匹配准确率低，并且由于所需要消耗的计算量较大，部署到终端侧时尤其是移动终端侧时，部署成本较高并且难度较大。

发明内容

本公开的目的在于提供一种数据描述方法、数据描述装置、计算机可读介质和电子设备，进而至少在一定程度上克服文本检索图像的任务与图像生成文本的任务匹配准确率低，并且同时部署到终端侧尤其是移动终端侧时部署成本较高并且难度较大的问题。

根据本公开的第一方面，提供一种数据描述方法，包括：

获取输入数据；

确定所述输入数据的第一特征信息以及确定用于描述所述输入数据的至少一种目标数据类型；

获取所述目标数据类型对应的描述数据以及所述描述数据关联的第二特征信息；

根据所述第一特征信息和所述第二特征信息从所述描述数据中匹配目标描述数据，以基于所述目标描述数据跨模态表征描述所述输入数据。

根据本公开的第二方面，提供一种数据描述装置，包括：

输入数据获取模块，用于获取输入数据；

第一特征信息提取模块，用于确定所述输入数据的第一特征信息以及确定用于描述所述输入数据的至少一种目标数据类型；

第二特征信息获取模块，用于获取所述目标数据类型对应的描述数据以及所述描述数据关联的第二特征信息；

目标描述数据筛选模块，用于根据所述第一特征信息和所述第二特征信息从所述描述数据中匹配目标描述数据，以基于所述目标描述数据跨模态表征描述所述输入数据。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。