[发明专利]一个基于深度神经网络及强化学习的生成式机器阅读理解方法

权利要求书

1.一个基于深度神经网络及强化学习的生成式机器阅读理解方法，其特征在于，所述的生成式机器阅读理解方法包括下列步骤：

S1、对文本及问题中的句子进行预处理，所述的预处理包括分词、词性标注、命名实体识别，将单词映射成词表当中对应的词向量，并与词性及命名实体类型的特征向量拼接在一起，形成文本和问题的初始特征向量表示；

S2、将文本与问题的向量表示分别通过两个多层BiLSTM进行处理，将各层的正向及反向输出全部拼接在一起，从而学习到文本和问题浅层和深层特征表示的组合；

S3、通过文档-问题分层注意力机制将问题的向量表示融合到文本的向量表示当中去，然后再次通过BiLSTM对文本和问题进行编码，形成文本和问题的最终特征向量表示；所述的步骤S3过程如下：

S31、将步骤S2中得到的问题的多层特征向量表示通过另外一个BiLSTM进行聚合，获得问题的最终特征向量表示，然后通过注意力机制，对问题中各单词的表示进行加权组合，形成一个与问题长度无关的向量；

S32、通过分层注意力机制将步骤S2和步骤S31中得到的问题的各层特征表示融合到文本的特征表示当中，其中注意力权重按照以下方式计算：

其中，k表示相应层的标号，各层之间的相似度计算函数S^k各不相同，和则分别代表步骤S1和步骤S2当中文本和问题中各个单词对应的起始向量表示及多层特征表示的拼接；

S33、在计算出注意力权重之后，各层分别按照以下方式计算融合问题信息的文本向量表示：

其中和分别代表步骤S2当中得到的文本和问题中的各个单词的第k层特征表示，则代表步骤S32中得到的第k层的注意力权重；

S4、通过注意力机制，对问题中各单词的表示进行加权组合，形成一个与问题长度无关的向量，通过该向量与文本的最终向量表示做内积，抽取出文本当中能够用于回答问题的信息片段，再次通过注意力机制，对文本中的这些信息片段进行加权组合，形成一个与文本长度无关的向量，作为解码器的初始隐状态输入；

S5、使用一个单向LSTM作为解码器，并以文本的最终特征向量表示作为其输入序列，按照序列到序列的方式逐个单词地生成对应的答案文本；所述的步骤S5过程如下：

S51、以步骤S4中得到文本向量表示作为解码器LSTM的初始隐状态，通过解码器同时生成两个序列，其中一个序列通过强制监督学习进行训练，在生成过程中，每一步的输入均为标准答案中上一步对应的词，输出为softmax分类概率，代表该步生成的词为词表中某个词的概率，以标准答案为目标序列，通过计算Cross Entropy Loss，得到损失值L_t；另外一个序列则通过强化学习方法进行训练，生成序列时每一步的输入均为上一步解码器的输出，在整个序列生成后，根据BLEU或者ROUGE-L评价标准计算该序列的Reward，并以提高Reward作为训练目标，通过Policy Gradient方法计算得到损失值L_r；

将两个生成序列的损失值按一定比例组合得到解码器的Loss，即L_s：

L_s＝γ′L_t+(1-γ′)L_r

其中L_t为强制监督学习过程的损失值，L_r为强化学习过程的损失值，γ′是一个0-1之间的值，用于控制两部分损失值的比例，L_s则代表解码器部分的总损失值；

S52、将编码器中的损失值与解码器中的损失值按一定比例组合得到总的Loss，即L：

L＝γL_e+(1-γ)L_s

其中L_e代表编码器部分的损失值，即步骤S4中用问题的注意力加权组合向量与文本的最终向量表示做内积，其结果再通过一个softmax函数可转化为一个概率分布，优化该概率分布时计算得到的损失值，L_s则代表解码器部分的损失值，γ是一个0-1之间的值，用于控制两部分损失值的比例，L则表示模型整体的损失值；

然后通过基于梯度下降原理的优化器来对模型进行多任务联合训练优化；

S53、当得到训练好的模型之后，在将模型用于答案生成时，解码器还会通过BeamSearch方法搜索多个可能的文本序列，在合理增加计算量的范围内提高答案生成的准确度。