[发明专利]机器阅读模型训练方法及装置、问答方法及装置

说明书

本发明公开了机器阅读模型训练方法及装置、问答方法及装置，属于自然语言处理领域。该机器阅读模型训练方法包括：获取训练样本，训练样本包括样本问题及其对应的样本文章，以及样本文章中对应答案的真实初始位置和真实终止位置；提取出样本问题的问题特征向量和样本文章的文章特征向量，并使用神经网络结构将问题特征向量和文章特征向量进行融合并处理，形成融合结果；将融合结果输入到分类器中进行答案的初始位置和终止位置的预测；对预测出的初始位置和终止位置与答案的真实初始位置和真实终止位置进行误差计算，并根据误差计算结果优化所述神经网络结构。本发明实施例通过端到端的深度学习，能够直接从关联整篇文章中抽取对应答案。

技术领域

本发明涉及自然语言处理领域，尤其涉及机器阅读模型训练方法及装置、问答方法及装置。

背景技术

目前主流的问答系统的技术架构有多种实现方式，例如：基于纯关键词匹配的搜索引擎、基于自然语言处理抽取语义相似度特征的方法和基于深度学习实现序列到序列(seq2seq)的生成式对话方法。

然而，现有问答系统均存在着诸多问题，具体如下：

对于检索式问答系统，其基于检索的问答方法不能对用户输入的问题做到真正的语义匹配，会经常出现答非所问的情况。其中一些特殊情况可以通过人工加规则的方式来处理，但这种方式因为无自学能力，存在着很高的维护成本，可扩展性也较差。

对于监督学习式的问答系统，其通过引入learning-to-rank的方法是另一种比较好的解决方案，通过提取词句的空间特征，输入到分类器中判断备选答案和问题相似与否。该方法可将一个“相似度匹配”的问题转换成一个“监督学习”的问题，具有较高的扩展性。但该方法存在一定量的人工标注成本，且需要用户设定一定量的问答对来进行数据冷启动。

对于生成式问答系统，seq2seq生成式的对话方法是最近一种比较热门的问答解决方案，该方法会用深度学习模型对问句进行编码来得到其语义表征，再对其进行解码得到相应的回答。该方法实施难度大，需要极大量的语料进行训练，且目前因为生成式回答的可控度较低，目前很少用于落地项目中。

发明内容

为了解决上述背景技术中提到的至少一个问题，本发明提供了机器阅读模型训练方法及装置、问答方法及装置。

本发明实施例提供的具体技术方案如下：

第一方面，本发明提供一种机器阅读模型训练方法，所述方法包括：

获取训练样本，所述训练样本包括样本问题及其对应的样本文章，以及所述样本文章中对应答案的真实初始位置和真实终止位置；

提取出所述样本问题的问题特征向量和所述样本文章的文章特征向量，并使用神经网络结构将所述问题特征向量和所述文章特征向量进行融合并处理，形成融合结果；

将所述融合结果输入到分类器中进行答案的初始位置和终止位置的预测；

对预测出的所述初始位置和所述终止位置与所述答案的真实初始位置和真实终止位置进行误差计算，并根据误差计算结果优化所述神经网络结构。

在一些实施例中，所述提取出所述样本问题的问题特征向量和所述样本文章的文章特征向量包括：

生成所述样本问题和所述样本文章各自的字向量和词向量；

对所述样本问题和所述样本文章各自的字向量和词向量分别进行对应拼接并通过第一预设网络，得到所述样本问题和所述样本文章各自的语义矩阵；

利用第二预设网络对所述样本问题的语义矩阵的正向和逆向分别进行对应拼接，得到所述样本问题的问题特征向量；以及

利用所述第二预设网络对所述样本文章的语义矩阵的正向和逆向分别进行对应拼接，得到所述样本文章的文章特征向量。