[发明专利]基于深层递进匹配的选择式机器阅读理解方法及系统

权利要求书

1.一种基于深层递进匹配的选择式机器阅读理解方法，其特征在于，该方法具体如下：

获取选择式机器阅读理解数据集：从网络上下载已经公开的选择式机器阅读理解数据集或自行构建选择式机器阅读理解数据集；

构建选择式机器阅读理解模型：基于深层递进匹配构建选择式机器阅读理解模型；

训练选择式机器阅读理解模型：在选择式机器阅读理解数据集上对选择式机器阅读理解模型进行训练。

2.根据权利要求1所述的基于深层递进匹配的选择式机器阅读理解方法，其特征在于，构建选择式机器阅读理解模型具体如下：

构建输入数据：针对数据集中的每一条数据，将文章序列记为passage；将问句序列记为question；将所有候选选项序列记为response；根据正确答案，确定该条数据的标签，文章序列、问句序列和候选选项序列与标签共同组成一条输入数据；

构建预训练嵌入表示：使用预训练语言模型BERT对输入数据进行嵌入处理，从而得到文章嵌入特征表示问句嵌入特征表示和选项嵌入特征表示公式如下：

其中，passage表示文章序列；question表示问句序列；response表示选项序列；

构建深层递进匹配表示：使用多层编码结构对文章嵌入表示依次进行特征编码操作，从而完成对文章嵌入表示的深层语义挖掘；同时，使用问句嵌入特征表示分别对每层的文章编码表示进行注意力筛选操作，从而得到第i层问句对齐的文章表示；再对选项嵌入特征表示和第i层问句对齐的文章表示进行Dot矩阵计算，从而得到第i层匹配表示；最后，联接第1层匹配表示到第n层匹配表示，从而得到深层递进匹配表示

提取深层特征：使用一层二维卷积神经网络对深层递进匹配表示进行特征提取，得到卷积特征表示，再使用自注意力机制进行特征筛选，从而得到自筛特征表示；

标签预测：经过一层维度为4、激活函数为Softmax的全连接网络处理，得到正确概率最高的选项。

3.根据权利要求2所述的基于深层递进匹配的选择式机器阅读理解方法，其特征在于，构建深层递进匹配表示具体如下：

第一层编码结构Encoder₁对文章嵌入表示进行编码操作，得到文章第一层编码表示公式如下：

其中，表示文章嵌入表示；

对文章第一层编码表示和问句嵌入特征表示进行Cross Attention计算，从而得到第一层问句对齐的文章表示公式如下：

其中，表示文章第一层编码表示；表示问句嵌入特征表示；

对第一层问句对齐的文章表示和选项嵌入表示进行Dot计算，从而得到第一层匹配表示公式如下：

其中，表示选项嵌入特征表示；表示第一层问句对齐的文章表示；

第二层编码结构Encoder₂对文章第一层编码表示进行编码操作，得到文章第二层编码表示公式如下：

其中，表示文章第一层编码表示；

对文章第二层编码表示和问句嵌入特征表示进行Cross Attention计算，从而得到第二层问句对齐的文章表示公式如下：

其中，表示文章第二层编码表示；表示问句嵌入特征表示；

对第二层问句对齐的文章表示和选项嵌入表示进行Dot计算，从而得到第二层匹配表示公式如下：

其中，表示选项嵌入特征表示；表示第一层问句对齐的文章表示；

第三层编码结构Encoder₃对文章第二层编码表示进行编码操作；以此类推，进行多次反复编码；根据选择式机器阅读理解模型预设的层次深度，直到生成第二层问句对齐的文章表示；对于第n层编码结构Encoder_n，对文章第n-1层编码表示进行编码操作，得到文章第n层编码表示公式如下：

其中，表示文章第n-1层编码表示；

对文章第n层编码表示和问句嵌入特征表示进行Cross Attention计算，从而得到第n层问句对齐的文章表示公式如下：

其中，表示文章第n层编码表示；表示问句嵌入特征表示；

对第n层问句对齐的文章表示和选项嵌入表示进行Dot计算，从而得到第n层匹配表示公式如下：

其中，表示选项嵌入特征表示；表示第n层问句对齐的文章表示；

联接第1层匹配表示到第n层匹配表示，从而得到深层递进匹配表示公式如下：

其中，和分别表示第1层匹配表示、第2层匹配表示和第n层匹配表示。