[发明专利]机器阅读理解以及减少候选数据集规模的方法、装置

权利要求书

1.一种机器阅读理解的实现方法，其特征在于，该方法包括，

根据问题类型过滤第一数据集合，得到过滤后的第二数据集合；

将问题与第二数据集合中的数据i进行语义匹配，得到数据i的语义匹配得分；

将问题与所述数据i进行最大覆盖度计算，得到数据i的特征匹配得分；

加权所述数据i的语义匹配得分和特征匹配得分，得到问题与数据i的匹配得分；

对数据i按照多文档投票算法计算数据i的投票得分；根据数据i的匹配得分和投票得分，计算出数据i的最终得分；

按照所计算得到的最终得分的降序，对所述第二数据集合中的数据进行排序，选择序列中前n个数据，作为候选数据集；

将所述候选数据集作为基线模型的输入数据集，

基于基线模型对输入数据集进行答案预测，得到所述问题的候选答案集，

其中，i为不大于第二数据集合中数据总数的自然数，n为基线模型的输入数据集合中的数据个数。

2.如权利要求1所述的实现方法，其特征在于，该方法进一步包括，

对候选答案集中的候选答案进行交叉验证，

按照多答案投票算法，计算候选答案集中的答案t的交叉验证投票得分，

根据数据i的位置信息对该答案t的投票得分进行加权，得到第二投票得分，

从第二投票得分中选择出最大得分所对应的答案作为候选答案，

其中，t为不大于n的自然数。

3.如权利要求1或2所述的实现方法，其特征在于，所述第一数据集合为段落集合；所述第二数据集合中的数据i为段落集合中的段落i；所述基线模型为BiDAF模型；所述第一数据集合中的数据为清洗了字符级噪声和/或句子级噪声的数据；该方法还包括，将所述过滤后的第二数据集合中的段落进行段落重组。

4.如权利要求2所述的实现方法，其特征在于，所述按照多答案投票算法，计算候选答案集中的答案t的交叉验证投票得分，包括，按照如下式子进行计算：

对于答案t，计算交叉验证投票得分va_score_t

其中，rouge(ans_i,ans_j)表示候选答案集合中的候选答案ans_i与该集合中的其他答案ans_j的相关性计算函数，D_f为候选集，函数g是指数平滑函数，s_score_j为利用边界模型为段落j预测边界得分；

所述根据数据i的位置信息对该答案t的投票得分进行加权，得到第二投票得分，包括，按照式子进行计算：

s_score_i＝h(s_score_i)·va_score_t

a_score_t＝s_score_i·l(index_i)

其中，函数h是对数平滑函数，函数l是指数平滑函数，index_i是候选段落所在的位置信息，a_score_t为第二投票得分。

5.如权利要求3所述的实现方法，其特征在于，所述段落重组包括，将段落长度低于第一阈值的段落顺序地拼接，拼接后的段落长度不大于第二阈值，并得到重组后的段落集合，该集合作为第三段落集合；

所述i为不大于第三段落集合中段落总数的自然数。

6.如权利要求3所述的实现方法，其特征在于，所述最大覆盖度计算包括，基于最大覆盖度算法，分别计算基于词和基于字的最大覆盖度，并分别得到第一最大覆盖度和第二最大覆盖度，将第一最大覆盖度与第二最大覆盖度之和作为段落i的特征匹配得分。