[发明专利]基于层次多任务学习的示意图问答方法

说明书

本发明涉及图像问答技术领域，尤其涉及基于层次多任务学习的示意图问答方法，包括如下步骤：S1、对训练图像，预训练目标检测器检测图像成分，进行位置编码和视觉特征提取；S2、对训练集图像，区域特征序列作为图解析模块的输入，预测成分和成分之间的关系；S3、对训练集问题和备选答案，组成陈述句后进行词例化处理并提取语言特征，得到备选答案和问题组成的语言序列；S4、对训练集，将图解析模块的输出与语言序列拼接输入问答模块，训练网络参数；S5、对测试集图像，将图与问题、备选答案编码组成区域特征序列和语言序列。本发明将图解析模块和问答模块联合在一起，利用多层次的任务来训练，实现了基于解析和问答两个层次的多任务学习框架。

技术领域

本发明涉及图像问答技术领域，尤其涉及基于层次多任务学习的示意图问答方法。

背景技术

近年来，随着深度学习和计算机视觉领域的不断发展，计算机对自然图像的理解能力已经有了极大的进展，比如在视觉问答领域，目前的方法已经能够达到比较高的精度。然而计算机对于示意图的语义理解，比如在示意图问答任务上，却难以达到比较好的效果。示意图问答任务要求计算机理解示意图中的语义知识，并根据这些知识从多个候选答案中推断出正确答案。示意图问答可以被认为是对图示语义的智能推理的一种评价任务，非常具有挑战性。首先示意图是一种用于说明的重要媒体形式，在教科书、幻灯片、文档等中被广泛使用。而自然图像很难起到相同的作用。与自然图像不同，示意图具有高度结构化的语义信息，比如箭头表示着某种联系。其次视觉上相似的结构在不同示意图中可能具有差别极大的语义。这些导致应用于自然图像的问答方法难以应用于示意图。

为了回答和示意图相关的问题，现有的方法一般将问答分为两个独立的阶段，解析图模块先识别成分，然后再对成分两两配对分类生成结构图。问答模块根据结构图生成事实和问题、备选项选择出可能性最大选项。这类方法在生成图和问题推理之间没有反馈，解析的结构图的精度只依赖于训练集的图像信息，而问答模块则根据生成的结构图，选择出正确答案。在训练时，结构解析的错误会导致问答模块的误差十分大，但这个误差仅用于优化问答模块，并不反向传播到解析模块。这样的两阶段模块无法相互反馈，自然也无法保证找到问题的全局最优解。示意图常常出现在资料、文档中，包含丰富的知识和结构化信息，比自然图像更加复杂，所以普通的视觉问答方法难以应用于示意图问答。并且，相似的示意图可能包含完全不同的语义信息，这也使得示意图问答十分具有挑战性。

发明内容

本发明目的是针对背景技术中存在的问题，提出基于层次多任务学习的示意图问答方法，包括如下步骤：

S1、对训练图像，预训练目标检测器检测图像成分，进行位置编码和视觉特征提取，然后编码组成区域特征序列；

S2、对训练集图像，区域特征序列作为图解析模块的输入，预测成分和成分之间的关系，训练网络参数；

S3、对训练集问题和备选答案，组成陈述句后进行词例化处理并提取语言特征，得到备选答案和问题组成的语言序列；

S4、对训练集，将图解析模块的输出与语言序列拼接输入问答模块，预测问题的正确选项，训练网络参数；

S5、对测试集图像，将图与问题、备选答案编码组成区域特征序列和语言序列，输入深度网络，预测问题的正确选项。

优选的，S2和S4使用多任务学习框架，通过图解析任务和问答任务这两个学习任务来解决问答任务。

优选的，S4中联合训练图解析模块和问答模块，使得问答的训练损失能够正确反馈到图解析模块和问答模块。

优选的，先进行图解析任务，再利用图解析任务中的输出进行问答任务，构建层次多任务框架。

优选的，S1中，预训练目标检测器为基于COCO数据集和示意图问答图像数据集预训练的YOLO v3目标检测器；检测的示意图成分包括文字、物体区域、箭头头部、箭头尾部四种类别；区域特征序列编码可以分为以下两个子步骤：