[发明专利]基于DCU编码和自注意力机制的机器阅读理解方法

说明书

本发明涉及基于DCU编码和自注意力机制的机器阅读理解方法，属于计算机技术领域。该方法包括以下步骤：S1：搭建嵌入层；S2：搭建DCU编码层；S3：搭建自注意力层；S4：选择数据集；S5：选择评价指标；S6：实验；本发明将训练时间缩短到了原模型的三分之一，并且在评价指标ROUGE‑L和BLEU‑4上分别提升了2.69和1.91个百分点，证明了：DCU和自注意力机制不仅能更好的获取文档的全局上下文信息，而且时间开销更小；采用预训练好的词向量能显著提升模型的整体性能。

技术领域

本发明属于计算机技术领域，涉及基于DCU编码和自注意力机制的机器阅读理解方法。

背景技术

机器阅读理解的主要任务是让机器学会阅读和理解文章，对于机器阅读理解模型来说，基于给定的问题，其能从相关文章中寻找答案。机器阅读理解技术涉及到语言理解、知识推理、摘要生成等复杂技术，因而面临着诸多挑战。随着深度学习技术的日趋成熟，以及各种大规模英文机器阅读理解数据集的发布，基于深度学习的英文机器阅读理解技术取得了巨大的进步。但是在中文方面，机器阅读理解技术目前还处于发展阶段，其中具有代表性的是百度公司开源的DuReader数据集以及在该数据集上构建的两个基线模型。其中一个基线模型是基于BiDAF模型构建的，该基线模型如附图1所示，模型中包括嵌入层、编码层、匹配层、建模层和输出层，下面对模型每一层涉及的技术和功能进行分析：

(1)嵌入层。该层的作用主要是将每个词映射到一个高维的向量空间。这里使用随机生成词向量的方式来获得每个词固定长度的词嵌入，然后通过一个两层的HighwayNetwork进行处理，分别得到代表输入文本表征的矩阵X∈R^d×T和代表问题表征的矩阵Q∈Q^d×J。

(2)编码层。将嵌入层得到的具有上下文语义信息的词向量输入到双向的长短期记忆网络(BiLSTM)来对单词之间的相互作用关系进行编码，得到H∈R^2d×T和U∈R^2d×J的矩阵表示。

(3)匹配层。这层的输入为经过编码层得到的文本表征矩阵H和问题表征矩阵U，然后使用双向注意力机制来获得query-aware上下文表征。此模型采用的注意力较先前普遍流行的注意力模型做出了以下几点改进：第一，模型的注意力层不再将文本的上下文信息聚合表征为固定大小的向量，而是计算得到每个时间步长的注意力权向量，接着和先前几层得到的表征一起，流式通过后续的建模层，这样能减少先前捕捉聚合信息时的信息丢失；第二，模型使用memory-less注意力机制，当模型迭代计算注意力时，每个时间步长的注意力仅仅是当前问题和上下文环境的函数，不会直接受先前时间步长上注意力的影响。这样将使模型的注意力层和建模层的分工更明确，使注意力集中于学习问题和文本上下文之间的注意力表示而使建模层更集中于学习query-aware上下文表征(注意力层的输出)之间的相互作用关系。

该模型主要从两个方向计算注意力：从文本到问题的注意力和从问题到文本的注意力。文本和问题的上下文嵌入之间双向的注意力都来源于一个共同的相似矩阵S∈R^T×J,S_tj就表示文本中第t个词和问题中第j个词的相似度。相似度矩阵计算公式如下：

S_tj＝α(H_:t,U_:j)∈R (1)

其中α是一个可训练的标量函数，能对两个输入向量之间的相似度进行编码。H_:t则是H中第t个列向量，同样，U_:j则是H中第j个列向量。