[发明专利]一种利用噪声描述文本的可控推理性视觉问题生成方法

权利要求书

1.一种利用噪声描述文本的可控推理性视觉问题生成方法，其特征在于，

包括输入图片和所述图片的描述；

利用所述图片及描述生成锚点场景图；

以所述锚点场景图为基础生成推理性问题并得到具有显式推理性的自然语言问题。

2.如权利要求1所述的一种利用噪声描述文本的可控推理性视觉问题生成方法，其特征在于，

所述利用所述图片及描述生成锚点场景图的具体步骤为：

利用场景图生成任务的方法附加物体属性分类训练生成初步场景图；

利用所述初步场景图提取视觉概念；

利用所述视觉概念从有噪声的描述文本中抽取可用信息，并提取其中的实体和三元组关系；

利用显著性检测算法提取出所述图像中的目标区域；

将所述区域映射到场景图中；

将所述区域的物体作为中心锚点，使得最终锚点场景图的内容聚焦于此并根据推理长度逐层向外扩散，从而获得锚点场景图。

3.如权利要求所述的一种利用噪声描述文本的可控推理性视觉问题生成方法，其特征在于，

以所述锚点场景图为基础生成推理性问题并得到具有显式推理性的自然语言问题的具体步骤为：

定义函数模板，所述函数模板包含有参数空间、推理过程模板以及文本模板；

根据模板中的程序规则，在现有锚点场景图上进行深度优先搜索；

利用搜索结果找到符合所述模板程序规则的节点链条；

将所述节点链条作为参数回填进所述文本模板中，即实例化出一个自然语言问题；

对所述实例化出的自然语言问题加入推理约束检查。

4.如权利要求2所述的一种利用噪声描述文本的可控推理性视觉问题生成方法，其特征在于，

所述实体为图像中的物体实体，所述三元组关系为所述实体间的主宾关系。

5.如权利要求4所述的一种利用噪声描述文本的可控推理性视觉问题生成方法，其特征在于，

所述三元组关系可用提取到的信息与场景图做匹配，对响应的结点和连边提高相应置信度。