[发明专利]基于联合训练方式的多文档多答案机器阅读理解系统

权利要求书

1.一种基于联合训练方式的多文档多答案机器阅读理解系统，其特征在于，所述系统包括多文档排序选择模块、机器阅读理解模型、答案验证模块、机器阅读理解模型和答案验证模块的联合训练模块；

所述多文档排序选择模块提供了一种多文档的筛选方案，剔除无关的文章段落，选取与问题相关的段落内容作为机器阅读理解模型的输入；

所述机器阅读理解模型能够从段落内容中寻找问题的答案，该答案并不一定是单一的，而可能是具有多个的；

所述答案验证模块将机器阅读理解模型输出的多答案进行验证，将验证正确的答案进行输出；

所述机器阅读理解模型和答案验证模块的联合训练模块使用联合训练的方式，最优化联合损失函数，得出两个模型的最优化参数；

所述多文档排序选择模块能够从大量的文档中选择出与问题相关的文章，并从文章中选取与问题相关的段落，将这些段落内容作为后续机器阅读理解模型的输入；所述多文档排序选择模块系统分为文档选择子模块与段落选择子模块；多文档排序选择模块的计算步骤如下：

(2-1)将文章输入进文档选择子模块，该模块使用BM25算法与TF-IDF算法计算出问题与文档的相关性，剔除无关的文档，选择相关性最高的前k₁篇文档输入段落选择子模块；

(2-2)段落选择子模块将输入的文档的拆分为段落；

(2-3)对这些段落分别使用基于强度排序与基于匹配度排序的方案进行打分，最终根据基于强度排序的打分score₁和基于匹配度排序的打分score₂，进行加权求和，具体公式为：

score_sum＝λ₁*score₁+λ₂*score₂      (1)

其中λ₁,λ₂为自定义的超参数，λ₁,λ₂∈(0，1)，且λ₁+λ₂＝1，表示两种打分方案所占的权重；

(2-4)最后，将这些加权求和的最终分数score_sum进行排序，最终选择排名前k₂个段落作为多文档排序选择模块的输出；

上述的k₁,k₂为自定义的超参数，用于控制选择的文档数和段落数。

2.根据权利要求1中所述的基于联合训练方式的多文档多答案机器阅读理解系统，其特征在于：所述的基于强度排序的打分方案的具体内容为：使用BLEU-4分数计算问句与每个段落的分数，这个总分表示了问句中的关键词在每个段落中出现的次数。

3.根据权利要求1中所述的基于联合训练方式的多文档多答案机器阅读理解系统，其特征在于：所述的基于匹配度排序的打分方案的具体内容为：提供了数量为N的文档，平均每个文档有K个段落，所以设P_i为段落内容，其中i是段落标号，从1到N*K，设问题为Q；将文章与问题中分割好的词语转换为各自的单词级词向量和将问题与段落的词向量输入双向LSTM网络中进行编码，得到新的编码向量和u^P表示文章内容，u^Q表示问题，计算公式为：

然后计算每个段落中包含问题答案的概率p(P_i|Q)，公式为：

其中sim(x,y)为相似性函数，用来衡量在段落内容P_i中包含问题Q的答案的概率，使用简单的评分函数，为两个向量的点积，具体公式为：

sim(x,y)＝x^T*y      (5)

其中x,y为两个向量，代表函数的形参；模型的损失函数具体公式为：

其中θ表示该模型可训练参数，最终根据段落中包含问题的概率进行打分，输出基于匹配度的打分分数。