[发明专利]机器阅读模型训练方法及装置、问答方法及装置

权利要求书

1.一种机器阅读模型训练方法，其特征在于，所述方法包括：

获取训练样本，所述训练样本包括样本问题及其对应的样本文章，以及所述样本文章中对应答案的真实初始位置和真实终止位置；

提取出所述样本问题的问题特征向量和所述样本文章的文章特征向量，并在神经网络结构中使用注意力机制对所述问题特征向量和所述文章特征向量进行融合，得到初始融合特征；

对所述初始融合特征进行编码，将所述初始融合特征与编码后的所述初始融合特征进行拼接，形成融合结果；

将所述融合结果输入到分类器中进行答案的初始位置和终止位置的预测；

对预测出的所述初始位置和所述终止位置与所述答案的真实初始位置和真实终止位置进行误差计算，并根据误差计算结果优化所述神经网络结构；

所述提取出所述样本问题的问题特征向量和所述样本文章的文章特征向量包括：

生成所述样本问题和所述样本文章各自的字向量和词向量；

对所述样本问题的字向量和词向量进行拼接并通过第一预设网络得到所述样本问题的语义矩阵，将所述样本文章的字向量和词向量分别进行对应拼接并通过第一预设网络，得到所述样本文章的语义矩阵；

将所述样本问题的语义矩阵的正向和逆向表征分别输入到第二预设网络中，将正逆两者的结果拼接得到所述样本问题的问题特征向量；以及

将所述样本文章的语义矩阵的正向和逆向表征分别输入到第二预设网络中，将正逆两者的结果拼接得到所述样本文章的文章特征向量；

所述在神经网络结构中使用注意力机制对所述问题特征向量和所述文章特征向量进行融合，得到初始融合特征包括：

计算问题的每个词和文章的每个词之间的相似度矩阵，令，其中，t和j分别是H和U中的第t个字和第j个字，是一个用于衡量相似度的函数，令，，和的点积，三者相互拼接，得到的结果输入到一个可被训练的分类器中，进而得到问题和文章的相似度分数，其中得到的结果以及分类器参数均，相似度分数，其中d表示默认词向量的维度；

上述的相似度矩阵S_ij将被用于计算文章-问题、以及问题-文章的注意力权重矩阵，令表示文章中第t个词对于该问题的注意力权重，文章中所有词的对于该问题中词j的权重和为1，该权重的值可以从上述的相似度矩阵中获得，令，J表示问题中词语的个数，取出S中问题词t对应的那一列，作为权重向量，并对于该向量做softmax归一化，此时为从相似度矩阵中取出的，经过softmax归一化后的、文章词t对应问题词j的注意力权重值，令代表乘上t词注意力权值后的j词的语义表征，代表经过文章中t词的注意力权值处理后的问题向量表征，那么，即代表经过整篇文章注意力权值处理后的问题特征向量，其中问题向量表征，T表示文章的词语个数；

相应的，可以将上述过程颠倒，得到，即经过整段问题的注意力权值处理后的文章特征向量；

最后，将上述过程得到的, 和未经注意力机制处理过的文章特征向量乘积拼接，进一步融合问题和文章代表的语义得到初始融合特征向量

。

2.根据权利要求1所述的方法，其特征在于，所述将所述融合结果输入到分类器中进行答案的初始位置和终止位置的预测包括：

将所述融合结果分别输入到两个不同的分类器中，并经过归一化处理，得到第一概率向量和第二概率向量，所述第一概率向量和所述第二概率向量分别包含有预测所述样本文章的每个词是所述答案的起始词的概率和终止词的概率；

选取所述第一概率向量中概率值最大的词作为预测所述答案的起始词；以及

选取所述第二概率向量中概率值最大的词作为预测所述答案的终止词。

3.一种问答方法，其特征在于，所述方法包括：

根据用户输入的问题，从文章知识库中筛选出与所述问题对应的文章；

将所述问题和所述文章输入到机器阅读模型中，以使所述机器阅读模型预测对应所述答案的起始位置和终止位置；

基于所述机器阅读模型预测出的所述起始位置和所述终止位置，将所述答案从所述文章中抽出，并返回给所述用户；

其中，所述机器阅读模型基于如权利要求1~2任意一项所述的方法训练。