[发明专利]一种基于匹配算法的视觉问答方法及系统

权利要求书

1.一种基于匹配算法的视觉问答方法，其特征在于，包括：

通过图像检测和识别的方法获得图像信息；

根据所述图像信息生成结构化的场景图；

通过自然语言处理的方法获得问句信息；

利用所述问句信息生成结构化的文本图；

将所述场景图和文本图利用匹配算法进行匹配得到问句的答案。

2.根据权利要求1所述的一种基于匹配算法的视觉问答方法，其特征在于，所述图像检测和识别的方法包括：物体检测、关系检测、属性检测、场景检测；

所述自然语言处理的方法包括：实体抽取、关系抽取、依存关系解析，以得到问句中的实体、关系、语法结构，以及问句的查询焦点。

3.根据权利要求1所述的一种基于匹配算法的视觉问答方法，其特征在于，生成结构化的场景图后还包括引入外部知识优化场景图，包括信息添加、删减或修改。

4.根据权利要求1所述的一种基于匹配算法的视觉问答方法，其特征在于，所述根据所述图像信息生成结构化的场景图时包括采用显式的自然语言表示来构成场景图，或采用隐式的编码向量来构成场景图；

生成结构化的文本图时包括：将获得的信息采用显式的自然语言表示来构成文本图，或采用隐式的编码向量来构成文本图。

5.根据权利要求1所述的一种基于匹配算法的视觉问答方法，其特征在于，所述匹配算法包括但不限于精确匹配算法和模糊匹配算法。

6.根据权利要求1至5中任一所述的一种基于匹配算法的视觉问答方法，其特征在于，所述通过图像检测和识别的方法获得图像信息具体包括：

S1.对图像进行检测，得到场景中各目标类别及其在图像中的边界坐标的信息；

S2.利用所述目标类别和边界坐标进行属性和关系识别，得到各目标的属性信息，以及各目标之间的相互关系的信息。

7.根据权利要求6所述的一种基于匹配算法的视觉问答方法，其特征在于，所述根据所述图像信息生成结构化的场景图具体包括：

S1.在场景图中，以节点代表某一物体或某一具体属性值，将节点和节点之间用有向边连接，每条边代表该边对应的起点节点与终点节点之间的关系，或起点节点对应的某种属性类别；

S2.根据图像信息，采用显式的自然语言表示或隐式的编码向量来构成场景图。

8.根据权利要求7所述的一种基于匹配算法的视觉问答方法，其特征在于，所述利用所述问句信息生成结构化的文本图具体包括：

S1.在文本图中，以节点代表某一物体或某一具体属性值，并且用有向边连接节点和节点，每条边代表该边对应的起点节点与终点节点之间的关系，或者起点节点的某种属性类别，其中，文本图中的查询焦点可以对应文本图中的节点或者边；

S2.利用问句信息生成结构化的文本图时，将获得的信息采用显式的自然语言表示或隐式的编码向量来构成文本图。

9.根据权利要求8所述的一种基于匹配算法的视觉问答方法，其特征在于，所述将所述场景图和文本图利用匹配算法进行匹配得到问句的答案具体包括：

S1.通过上述步骤得到场景图和文本图后，基于二者节点和有向边的匹配，得到文本图中查询焦点所在的节点相对应的场景图中的节点位置，或者文本图中查询焦点所在的有向边相对应的场景图中的有向边位置；

S2.输出场景图中该节点或该有向边的值，作为视觉问答的答案。

10.一种基于匹配算法的视觉问答系统，其特征在于，包括：

图像检测和识别模块，用于对输入图像进行目标检测和识别，通过图像检测和识别的方法获得图像信息；

场景图生成模块，用于将图像检测和识别模块得到的图像信息表示为结构化的数据，得到场景图；

自然语言处理模块，用于对输入问句进行分析和信息抽取，通过自然语言处理的方法获得问句信息；

文本图生成模块，用于将自然语言处理模块分析得到的问句信息表示为结构化的数据，得到文本图；

匹配模块，用于将所述场景图和文本图利用匹配算法进行匹配，得到视觉问答的答案；

其中，所述场景图生成模块分别与图像检测和识别模块和匹配模块连接，所述文本图生成模块分别与自然语言处理模块和匹配模块连接。