[发明专利]基于DCU编码和自注意力机制的机器阅读理解方法

权利要求书

1.基于DCU编码和自注意力机制的机器阅读理解方法，其特征在于：该方法包括以下步骤：

S1：搭建嵌入层；

S2：搭建DCU编码层；

S3：搭建自注意力层。

2.根据权利要求1所述基于DCU编码和自注意力机制的机器阅读理解方法，其特征在于：所述S1中，嵌入层，使用通过百度百科预训练好的300维中文词-词向量，该层将每个词映射到高维向量空间。

3.根据权利要求1所述基于DCU编码和自注意力机制的机器阅读理解方法，其特征在于：所述S2中，DCU编码层，结合上下文中的语境线索利用膨胀组合单元DCU分别对文档和问题进行编码。

4.根据权利要求1所述基于DCU编码和自注意力机制的机器阅读理解方法，其特征在于：所述S3中，自注意力层，通过引入自注意力机制来捕捉在问题条件上下文文本中词的相互关系。

5.根据权利要求3所述基于DCU编码和自注意力机制的机器阅读理解方法，其特征在于：

所述DCU编码层：将多个尺度的信息组合在一起进行编码，利用多尺度n元语法信息来实现语义融合，得到更好的文档表达，加快序列编码速度，其中多尺度包括：词、短语、句子和段落；给定输入序列S＝[w₁,w₂,...,w_l],R＝r₁,r₂,...,r_k，k表示进行k次Fold/Unfold操作，算法步骤为：

Fold操作；对于每个r_j，首先将S中的r_j个词进行串结，将原输入序列缩减为l/r_j，对于新的包含l/r_j个块的序列中的每个表示进行如下的计算：

其中Fold的操作次数等于R的大小，对于R中不同的r值，W和b不共享，σ为ReLU激活函数；

Unfold操作；将上一步得到的序列展开成原输入序列的长度；

Multi-Granular Reasoning操作；将Unfold之后的表示进行串结，然后通过两层前馈神经网络得到一个门向量，计算公式如下：

其中F(·)＝ReLU(W_x+b)；g_t相当于一个多尺度学习的门控向量，尺度最低的那些词会拥有相同的g_t值；

Encoding操作；这一步使用上一步得到的门控向量g_t来控制原始输入文档中每个w_t与原始表示之间的粒度大小：

z_t＝tanh(W_pw_t)+b_p (5)

y_t＝σ(g_t)*w_t+(1-σ(g_t))z_t (6)

y_t为最终得到的编码表示，σ为激活函数。

6.根据权利要求4所述基于DCU编码和自注意力机制的机器阅读理解方法，其特征在于：所述自注意力层是捕捉在问题条件上下文文本中词的相互关系；首先使用一层GRU对上一层的输出结果进行处理，将上下文文本中词query-aware向量表示G进行降维处理；然后将处理后的结果输入到自注意力机制层；该层得到的矩阵M∈R^2d×T,M中每列向量将包含整个文本段落和问题中词的上下文信息，最后传输给输出层来预测答案。

7.根据权利要求1所述基于DCU编码和自注意力机制的机器阅读理解方法，其特征在于：所述S3后还包括：

S4：选择数据集；采用百度公司发布的基于实际应用场景的大规模数据集DuReader2.0；

S5：选择评价指标；

S6：实验；在GeForceGTX1080ti GPU和Intel(R)Xeon(R)E5-2618L CPU(32核110GB内存)硬件环境，Ubuntu16.04系统、python 3.5.2、TensorFlow-GPU 1.9.0和Cuda10.0软件环境下进行；实验参数设置为：embed_size＝300，drop_out＝1.0，learning_rate＝0.001，batch_size＝32，epoch＝3；实验首先在训练集上每训练完一个epoch就对模型在验证集上进行验证，然后保存当前模型，训练完所有epoch后保存ROUGE-L指标最高的模型作为最后的模型，最后在测试集上对模型进行测试，最终将测试所得结果提交到DuReader Homepage平台上得出测试集上的ROUGE-L和BLEU-4指标得分。