[发明专利]一种基于概念交互和关联语义的文本视觉问答系统及方法

权利要求书

1.一种基于概念交互和关联语义的文本视觉问答系统，其特征在于，包括物体位置提取模块、与所述物体位置提取模块连接的第一全连接层、文本信息提取模块、与所述文本信息提取模块连接的第二全连接层、分别与所述第一全连接层以及第二全连接层连接的OCR-object图卷积网络、与所述OCR-object图卷积网络连接的多门步机制图卷积网络以及与所述多门步机制图卷积网络连接的转换器网络，所述转换器网络与双向转换器表征编码器BERT连接；

所述物体位置提取模块，用于利用预训练的Faster-RCNN快速区域物体检测器模型提取图像中的视觉特征及其对应的位置信息；

所述第一全连接层，用于将所述视觉特征及其对应的位置信息进行融合，得到物体的位置信息；

所述文本信息提取模块，用于利用OCR识别模型检测图像中的文本信息及其对应的位置信息；

所述第二全连接层，用于对所述文本信息及其对应的位置信息进行融合，得到文本的位置信息；

所述OCR-object图卷积网络，用于根据物体的位置信息和文本的位置信息，提取物体的位置信息和文本的位置信息的重叠关系；

所述多门步机制图卷积网络，用于对重叠关系进行编码；

所述双向转换器表征编码器BERT，用于提取问题文本的问题信息；

所述转换器网络，用于根据问题信息以及编码信息得到文本视觉回答；

其中，概念交互为将视觉图像信息，文本信息，问题信息和之前的输出这四个概念共同输入到概念交互转换器网络当中，具体的计算过程如公式所示：

F_t^joint＝[X_J,Q,P_t-1]

F_t^final＝Transformer(F_t^joint)

其中，最终执行J步之后得到的融合特征为X_J，Q表示编码的之后的问题特征，P_t-1表示前t-1个答案的前t-1步的输出，F_t^final表示经过转换器编码之后的第t步特征，Transformer表示多层转换器网络，F_t^joint表示经过转换器编码之前的第t步特征；

多门步机制图卷积网络由单步门机制的图卷积网络执行J步构成；

所述单步门机制的图卷积网络的表达式如下：

X_t+1＝GatedGCN(A,X_t)

其中，X_t表示第t步的门控图卷积网络的输入，X_t+1表示第t步的门控图卷积网络的输出和t+1步门控图卷积网络的输入，A表示OCR-object关联图,GatedGCN单步的门控图卷积网络。

2.根据权利要求1所述的基于概念交互和关联语义的文本视觉问答系统，其特征在于，所述OCR-object图卷积网络包括OCR-OCR子图，object-object子图以及OCR-object子图；

所述OCR-OCR子图，用于对图像中检测到的文本与文本之间的关系进行建模，建立任意两个文本之间的联系；

所述object-object子图，用于对图像中检测到的物体与物体之间的关系进行建模，建立任意两个物体之间的联系；

所述OCR-object子图，用于对文本和物体之间的关系进行建模，得到物体的位置信息和文本的位置信息的重叠关系。