[发明专利]一种图像特征确定、视觉问答方法、装置、设备及介质

说明书

本说明书实施例公开了一种图像特征确定、视觉问答方法、装置、设备及介质，图像特征确定方法包括：接收目标图像，确定所述目标图像的图像内容特征以及图像几何特征；以及，确定所述图像几何特征的位置编码；根据所述位置编码确定所述图像内容特征之间的关联关系矩阵；根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征。

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像特征确定、视觉问答方法、装置、设备及介质。

背景技术

现有技术中有许多研究领域涉及到图像特征的确定，例如在视觉问答领域。视觉问答(Visual Question Answering，VQA)是一种涉及计算机视觉和自然语言处理的综合性任务，一个视觉问答系统的输入包含一张图像和一个问句，结合这两部分信息，输出一个符合自然语言规则且内容合理的答案来回答该问句。在视觉问答领域，图像特征的确定结果可以直接影响问题答案的准确性。

现有技术中，通过目标检测网络得到图像的候选特征框，并从候选特征框提取出相应的图像特征，各个图像特征之间相对独立，未考虑同一图像的各个图像特征之间的相互关系，且并未对各个候选特征框的特征框信息进行有效利用；现有技术中，采取的是直接统计数据集中所有出现过的答案作为最终分类的候选项，分类种类较大，难以保障分类精度，导致系统整体准确率不足，降低视觉问答准确性。

有鉴于此，需要更有效和更高效的图像特征确定和视觉问答方案。

发明内容

本说明书实施例提供一种图像特征确定方法、装置、设备及介质，用以解决如何更有效或更高效地进行图像特征确定的技术问题；本说明书实施例提供一种视觉问答方法，用以解决如何更高效和更准确地进行视觉问答的技术问题。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供一种图像特征确定方法，包括：

接收目标图像，确定所述目标图像的图像内容特征以及图像几何特征；以及，确定所述图像几何特征的位置编码；

根据所述位置编码确定所述图像内容特征之间的关联关系矩阵；

根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征。

本说明书实施例提供一种图像特征确定装置，包括；

初始特征确定模块，用于确定目标图像的图像内容特征以及图像几何特征；

编码模块，用于确定所述图像几何特征的位置编码；

关联矩阵确定模块，用于根据所述位置编码确定所述图像内容特征之间的关联关系矩阵；

图像特征确定模块，用于根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征。

本说明书实施例提供一种图像特征确定设备，包括：

至少一个处理器；

以及，

与所述至少一个处理器通信连接的存储器；

其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

接收目标图像，确定所述目标图像的图像内容特征以及图像几何特征；以及，确定所述图像几何特征的位置编码；

根据所述位置编码确定所述图像内容特征之间的关联关系矩阵；

根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征。