[发明专利]一个基于深度神经网络及强化学习的生成式机器阅读理解方法

摘要

本发明公开了一个基于深度神经网络及强化学习的生成式机器阅读理解方法，该方法通过结合注意力机制的深层神经网络来对文本和问题进行编码，形成融合了问题信息的文本向量表示之后，再通过单向LSTM解码器进行解码，逐步生成对应的答案文本。本发明公开的阅读理解方法融合了抽取式模型和生成式模型的优点，采用多任务联合优化的方式进行训练，训练过程中同时还使用了强化学习方法，有利于生成更加准确而流畅的答案文本。

主权项

1.一个基于深度神经网络及强化学习的生成式机器阅读理解方法，其特征在于，所述的生成式机器阅读理解方法包括下列步骤：S1、对文本及问题中的句子进行预处理，所述的预处理包括分词、词性标注、命名实体识别，将单词映射成词表当中对应的词向量，并与词性及命名实体类型的特征向量拼接在一起，形成文本和问题的初始特征向量表示；S2、将文本与问题的向量表示分别通过两个多层BiLSTM进行处理，将各层的正向及反向输出全部拼接在一起，从而学习到文本和问题浅层和深层特征表示的组合；S3、通过文档‑问题分层注意力机制将问题的向量表示融合到文本的向量表示当中去，然后再次通过BiLSTM对文本和问题进行编码，形成文本和问题的最终特征向量表示；S4、通过注意力机制，对问题中各单词的表示进行加权组合，形成一个与问题长度无关的向量，通过该向量与文本的最终向量表示做内积，抽取出文本当中能够用于回答问题的信息片段，再次通过注意力机制，对文本中的这些信息片段进行加权组合，形成一个与文本长度无关的向量，作为解码器的初始隐状态输入；S5、使用一个单向LSTM作为解码器，并以文本的最终特征向量表示作为其输入序列，按照序列到序列的方式逐个单词地生成对应的答案文本。