[发明专利]开放域视觉语言问答方法、装置、电子设备及存储介质

权利要求书

1.一种开放域视觉语言问答方法，其特征在于，包括以下步骤：

对图像进行编码，将所述图像映射为一组视觉向量；

对问题进行嵌入标记，得到词嵌入序列；

将所述视觉向量和所述词嵌入序列进行拼接，并使用注意力机制提取所述视觉向量和所述词嵌入序列的隐含关系；

使用所述视觉向量、所述词嵌入序列和所述隐含关系，构建知识三元组；

将所述知识三元组与知识图谱中积累的知识进行实体匹配，得到匹配度最高的三元组，以该三元组的尾部实体作为最终答案输出。

2.根据权利要求1所述的一种开放域视觉语言问答方法，其特征在于：

所述知识三元组包括头部嵌入、尾部嵌入和关系嵌入；

所述头部嵌入为视觉向量，所述尾部嵌入为词嵌入序列，所述关系嵌入为所述视觉向量和所述词嵌入序列的隐含关系。

3.根据权利要求1所述的一种开放域视觉语言问答方法，其特征在于：

使用CLIP-VIT模型对图像进行编码。

4.根据权利要求1所述的一种开放域视觉语言问答方法，其特征在于：

使用RoBERTa模型对问题进行嵌入标记。

5.根据权利要求1所述的一种开放域视觉语言问答方法，其特征在于：

使用METER模型对所述视觉向量和所述词嵌入序列进行拼接和提取隐含关系处理。

6.根据权利要求5所述的一种开放域视觉语言问答方法，其特征在于：

使用Trans E损失函数训练所述METER模型。

7.根据权利要求1所述的一种开放域视觉语言问答方法，其特征在于：

对图像进行编码之前，还包括以下步骤：

将图像切分为等大patch，去除噪声图像；

对问题进行嵌入标记之前，还包括以下步骤：

对所问题进行去停留词处理，并按照Token执行切割。

8.一种开放域视觉语言问答装置，其特征在于，包括：

图像编码模块，用于对图像进行编码，将所述图像映射为一组视觉向量；

问题嵌入模块，用于对问题进行嵌入标记，得到词嵌入序列；

隐含关系提取模块，用于将所述视觉向量和所述词嵌入序列进行拼接，并使用注意力机制提取所述视觉向量和所述词嵌入序列的隐含关系；

知识三元组构建模块，用于使用所述视觉向量、所述词嵌入序列和所述隐含关系，构建知识三元组；

实体匹配模块，用于将所述知识三元组与知识图谱中积累的知识进行实体匹配，得到匹配度最高的三元组，以该三元组的尾部实体作为最终答案输出。

9.一种电子设备，其特征在于，包括：

至少一个存储器以及至少一个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一项所述的一种开放域视觉语言问答方法的步骤。

10.一种计算机可读存储介质，其特征在于：

所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的一种开放域视觉语言问答方法的步骤。