[发明专利]一种句法关系增强的机器阅读理解多跳推理模型及方法

权利要求书

1.一种句法关系增强的机器阅读理解多跳推理装置，其特征在于：包括文本编码模块、关联要素关系图构建模块、问题解答模块和答案预测模块，其中问题解答模块包括答案生成模块和多跳推理模块；

所述文本编码模块是对问题和文章进行编码，得到问题和文章的语义化向量化表示；所述关联要素关系图构建模块是用于识别文章各句子中的关键要素及要素之间的依存句法关系，定义要素关联规则，依据要素关联规则构建关联要素关系图；所述问题解答模块的答案生成模块用于解决观点型问题和片段抽取型问题；所述问题解答模块的多跳推理模块是基于关联要素关系图和图注意力网络进行多跳推理，获得文章各句子关于问题的相关度评分；所述答案预测模块将观点型问题、片段抽取型问题和多跳推理任务进行联合优化学习，三个子任务共享编码层，并根据上述模块预测答案及答案依据；

所述观点型问题的答案为中的一种，通过机制进一步挖掘了文章中的观点类文字线索，然后通过对观点型问题进行分类求解，得到观点型问题的答案概率，具体计算见如下公式：

其中，表示多头自注意力，表示引入多头自注意力后问题与文章的向量表示，表示动态卷积神经网路，表示答案为的概率，表示答案为的概率，表示答案为的概率；

所述片段抽取型问题的答案为文章中的某一连续片段，需要根据问题在文章中标注出正确答案的开始位置和结束位置，通过文本编码模块得到了文章个字符的向量表示，然后通过全连接网络Dense得到文章中个字符为所述问题对应答案的开始位置和结束位置的概率、，具体计算过程见如下公式：

。

2.一种句法关系增强的机器阅读理解多跳推理方法，其特征在于，包括以下步骤：

步骤1：通过文本编码模块对问题和文章进行编码，得到问题和文章的语义化向量化表示；

步骤2：利用关联要素关系图构建模块识别文章各句子中的关键要素及要素之间的依存句法关系，定义要素关联规则，依据要素关联规则构建关联要素关系图；

步骤3：利用问题解答模块下的答案生成模块解答观点型问题和片段抽取型问题；

所述观点型问题的答案为中的一种，通过机制进一步挖掘了文章中的观点类文字线索，然后通过对观点型问题进行分类求解，得到观点型问题的答案概率，具体计算见如下公式：

其中，表示多头自注意力，表示引入多头自注意力后问题与文章的向量表示，表示动态卷积神经网路，表示答案为的概率，表示答案为的概率，表示答案为的概率；

所述片段抽取型问题的答案为文章中的某一连续片段，需要根据问题在文章中标注出正确答案的开始位置和结束位置，通过文本编码模块得到了文章个字符的向量表示，然后通过全连接网络Dense得到文章中个字符为所述问题对应答案的开始位置和结束位置的概率、，具体计算过程见如下公式：

；

步骤4：基于关联要素关系图和图注意力网络进行多跳推理，获得所述文章各句子关于所述问题的相关度评分；

步骤5：将观点型问题、片段抽取型问题和多跳推理任务进行联合优化学习，三个子任务共享编码层，并根据上述模块预测答案及答案依据。

3.根据权利要求2所述的一种句法关系增强的机器阅读理解多跳推理方法，其特征在于：所述步骤1的具体操作为，使用预训练的模型作为编码器，将所述问题和文章的每个字或词映射到一个高维的向量空间，获得每个字或者词的向量化表示，计算公式如下所示：

其中，表示模型的输入，代表问题，代表文章，是模型额外增加的开始标志，说明这是句首位置，是分隔符，将问题和文章分开，代表问题和文章的向量表示。

4.根据权利要求2所述的一种句法关系增强的机器阅读理解多跳推理方法，其特征在于：所述步骤2具体为，使用词法分析和句法分析工具从文章中识别时间、地点、人名、组织，名词、专有名词、数量词这类关键要素；根据句号、问号、感叹号以及其它标点符号进行分割，得到语句片段r，通过句法分析工具得到r中不同要素间的依存关系。