[发明专利]基于图卷积网络的阅读理解方法

权利要求书

1.一种基于图卷积网络的阅读理解方法，其特征在于，包括以下步骤：

1)词向量初始化：对于每个问题和对应的多篇文档，首先对问题和文档进行分词；用预训练好的词向量初始化分词后的问题和文档，得到问题和文档中每个词的词向量；

2)基于注意力机制的文档和问题的向量表示：对于步骤1)初始化完成的文档和问题，首先利用双向长短期记忆网络(LSTM)对文档和问题进行进一步编码，得到包含上下文信息的向量表示；然后根据双向注意力机制，获得经过注意力交互后的问题和文档的向量表示；

3)基于图卷积网络的文档交互表示：对于每个问题和对应的多篇文档，构建一个图网络表示问题和其对应的多篇文档，图网络中的节点表示一个词，每个词用步骤2)中得到的文档向量表示；构建图网络的具体过程主要分为两个步骤，第一是节点的抽取：对于问题中的每个词，首先找到文档中对应的词作为中心词，并按照一定大小的滑动窗口找到中心词周围的词，选取这些词作为图网络的节点；第二是图网络中节点边的定义，定义两种边的关系：第一种，在文档中，根据问题找到的词，这些词对应的节点两两相连，每两个节点连成一条边；第二种，在文档中，根据问题找到的词，以这个词为中心词，将中心词周围的词两两相连，每两个词对应的节点连成一条边；构建完图网络之后，用图卷积网络(GCN)更新图网络中每个节点的向量表示；

4)基于图卷积网络和双向长短期记忆网络联合表示：用步骤3)中获得的节点向量与步骤2)中获得的文档向量进行拼接得到联合向量；然后在联合向量上利用注意力机制，得到文档最终的向量表示；

5)基于多任务的答案选择：首先将步骤4)得到的文档向量，进行自注意力机制之后，输入到一个全连接网络中，输出一个文档选择分数，用于表示问题的正确答案出现在这篇文档中的概率；然后对每一篇文档，将步骤4)得到的文档向量输入到指针网络中，输出为两个指针，以两个指针之间的片段作为候选答案，以两个指针的分数之和作为该候选答案的文档抽取分数；

6)基于图卷积网络的答案交互验证：将问题和步骤5)得到的多个候选答案文本按照步骤1)-3)处理，得到步骤2)的候选答案的向量表示和步骤3)的基于图卷积网络的候选答案交互表示；用步骤3)中获得的候选答案向量与步骤2)中获得的候选答案向量进行拼接得到候选答案的联合向量，再对候选答案的联合向量之间进行自注意力机制，最后得到每个候选答案的最终向量表示，然后输入到全连接网络中，输出为每个候选答案的答案验证分数；

7)将步骤5)得到的文档选择分数和文档抽取分数与步骤6)得到的答案验证分数相加，做为每个候选答案的最终分数，选择最终分数最高的候选答案作为问题的答案。

2.根据权利要求1所述的基于图卷积网络的阅读理解方法，其特征在于，所述的步骤1)中，对问题和文档分词具体为：

a)将标点统一化，有中文标点的改成英文标点；

b)大小写统一，将所有单词都小写化；

c)利用空格和标点对文档和问题进行分词。