[发明专利]基于图卷积网络的阅读理解方法

说明书

本发明公开了一种基于图卷积神经网络的阅读理解方法：该方法主要针对多篇文档中寻找答案的阅读理解场景，首先用预训练好的词向量初始化问句和文档的表示；利用双向的长短期记忆网络(LSTM)获取问句和文档的语义表示；然后构建图网络来表示每个样本，利用图卷积网络学习文档的表示；接着将图卷积网络学习的向量表示和长短期记忆网络获得的向量表示融合形成文档最终的向量表示；利用候选答案抽取，文档选择，候选答案验证3个任务一起作用抽取问题的最终答案。本发明提出了一个解决多文档的阅读理解任务的方法，能够考虑多篇文档之间的交互性，可以有效的提高多文档阅读理解任务的效果，对阅读理解，智能问答的发展具有较大的意义。

技术领域

本发明涉及基于图卷积网络的阅读理解方法，特别是涉及一种自动化图卷积网络的抽取式阅读理解，用多任务和答案验证的方式解决多篇文档的难题。

背景技术

阅读理解任务是指让机器像人一样，能够阅读文档，理解文档的意思，往往用关于文档的相关问题来验证机器理解文档的能力。阅读理解作为自然语言处理的一个重要任务，在最近几年成为学术和工业界的热点。在智能客服，自动问答系统有广泛的应用，能大大降低人工的劳动力，提高公司的效率。随着大数据，人工智能时代的到来，设计一个能够自动理解文档的阅读理解系统是非常有意义的，可以极大的促进人工智能的发展。

最近几年，自然语言处理得到了很大的发展，阅读理解任务作为自然语言处理的重要问题，吸引了广大研究学者的参与，提出了很多的用于研究的数据集。从数据集的任务上来说，阅读理解可以分为两个阶段。最早提出的SQUAD和CNN/Daily mail等数据集，提供了大量监督数据。这些数据集一般只包含一个问题，一篇文档，从提供的一篇文档中寻找答案。在此之上研究出了BIDAF，SAN等优秀的阅读理解模型。然而这样的数据集，仅提供了包含答案的一篇文档，并且只需要匹配文档中的某一个片段即可，与现实中的场景还有不小的差距，现实中的场景往往需要从多篇文档中去寻找答案。在这之后，有学者提出了TriviaQA，NarrativeQA和MSMARCO等数据集，这些数据集对每个问题，提供了多篇文档作为证据，模型需要从多篇文档中寻找答案，并添加了推理功能。在这些数据集之上，提出了VNET等高性能模型。

本发明设计并实现了一个基于图卷积网络的阅读理解方法。该方法利用目前最新的图卷积网络(GCN)来挖掘文档间的关联信息，并且利用多任务学习和答案验证的方法提高了模型的效果。

发明内容

本发明为了解决现实中从多篇文档中寻找答案，自动回答问题的场景，提出了一种基于图卷积网络的阅读理解方法，能够有效回答多篇文档的阅读理解问题。

本发明解决其技术问题采用的技术方案如下：一种基于图卷积网络的阅读理解方法，包括以下步骤：

1)词向量初始化：对于每个问题和对应的多篇文档，首先对问题和文档进行分词；用预训练好的词向量初始化分词后的问题和文档，得到问题和文档中每个词的词向量；

2)基于注意力机制的文档和问题的向量表示：对于步骤1)初始化完成的文档和问题，首先利用双向长短期记忆网络(LSTM)对文档和问题进行进一步编码，得到包含上下文信息的向量表示；然后根据双向注意力机制，获得经过注意力交互后的问题和文档的向量表示；