[发明专利]一种基于注意力与聚合机制的文章与问题的融合方法

说明书

本发明公开了一种基于注意力与聚合机制的文章与问题的融合方法，其包括以下步骤：S1、将编码后的文章向量和问题向量分别输入双向注意力模型和共同注意力模型；S2、将步骤S1中的两个输出进行聚合，得到聚合后的向量P3；S3、将P3与编码前的文章向量P进行聚合得到文本编码向量P4；S4、获取文章内部单词之间的全局交互信息；S5、获取使用自注意力模型后的文本向量P5；S6、将P4和P5进行聚合得到聚合后的数据P6；S7、将P6与P进行拼接后送入双向GRU网络中，将双向GRU网络的输出作为文章的上下文语境向量，完成文章与问题的融合。本方法相比FussionNet模型的计算成本更低。

技术领域

本发明涉及机器阅读理解领域，具体涉及一种基于注意力与聚合机制的文章与问题的融合方法。

背景技术

机器阅读理解任务的核心是把问题信息整合到文章中，得到文章和问题之间的联系，这也是注意力机制能够被广泛应用到阅读理解任务的原因。尽管有各种各样的模型结构和注意力类型，但是一个典型的基于注意力机制的阅读理解模型首先是将问题和文章的符号表示成向量，然后在向量空间中识别出具有特定注意力影响的答案。

词法和句法等不同层次的文本特征信息对帮助理解文章内容是有帮助的，现有阅读理解模型FussionNet中使用了历史词汇(history-of-word)的思想，但是FussionNet模型应用聚合过程时拼接了四层历史词汇信息，然后基于历史词汇计算注意力函数，这种基于注意力的聚合过程虽然能多层次理解文本语义，但是在计算注意力时由于输入向量维度太大而提高了计算的成本，间接的增加了模型的复杂度。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于注意力与聚合机制的文章与问题的融合方法解决了FussionNet模型计算成本高的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于注意力与聚合机制的文章与问题的融合方法，其包括以下步骤：

S1、将编码后的文章向量输入双向注意力模型，将编码后的问题向量输入共同注意力模型，分别得到双向注意力模型的输出P1和共同注意力模型的输出P2；

S2、根据聚合机制将双向注意力模型的输出P1和共同注意力模型的输出P2进行聚合，得到聚合后的向量P3；

S3、将聚合后的向量P3与编码前的文章向量P进行聚合，得到文本编码向量P4；

S4、基于文本编码向量P4，根据自注意力模型获取文章内部单词之间的全局交互信息；

S5、根据全局交互信息和文本编码向量P4获取使用自注意力模型后的文本向量P5；

S6、根据聚合函数将文本编码向量P4和使用自注意力模型后的文本向量P5进行聚合，得到聚合后的数据P6；

S7、将聚合后的数据P6与编码前的文字向量P进行拼接，并将拼接后的数据作为输入送入双向GRU网络中，将双向GRU网络的输出作为文章的上下文语境向量，完成文章与问题的融合。

进一步地，步骤S2的具体方法为：

根据公式

使用聚合机制将双向注意力模型的输出P1和共同注意力模型的输出P2进行聚合，得到聚合后的向量P3；其中tanh(·)为双曲正切函数；W_f和b_f均为学习参数；[；]表示将向量按行进行拼接操作；表示P1与P2进行点积运算。

进一步地，步骤S3的具体方法为：

根据公式