[发明专利]基于语义的机器阅读理解的候选答案筛选方法和系统

说明书

本发明公开了基于语义的机器阅读理解的候选答案筛选方法和系统，该方法包括：根据答案从文档中筛选出文档对应的候选答案片段；根据语义相似性和答案从所述候选答案片段中筛选出最优候选答案片段；根据语义相似性和答案从所述文档中获取候选答案文档，并计算获得最优候选答案片段在候选答案文档中的位置信息，所述候选答案文档和所述位置信息为机器阅读理解模型训练阶段的输入值。本发明根据语义相似性来筛选答案，筛选更全面，不易错过正确的答案，并且具有较高的准确性。本发明作为基于语义的机器阅读理解的候选答案筛选方法和系统可广泛应用于自然语言处理领域中。

技术领域

本发明涉及自然语言处理领域，尤其涉及基于语义的机器阅读理解的候选答案筛选方法和系统。

背景技术

近年来，机器阅读理解任务在自然语言处理领域受到了广泛的关注。各大科研机构也针对机器阅读理解推出了许多相关的数据集及比赛。传统的完形填空及多选题类型的任务都已经达到了非常高的精准度。在传统的阅读理解模型中，模型训练的数据集通常采用的是一个文档和一个问题的数据集，但随着时代的进步，目前大家最为关注的数据集是根据真实的搜索引擎数据生成的数据集，而这类数据集与传统的一个文档和一个问题的数据集相比，它们通常含有搜索引擎返回的多个相关文档，而多个相关文档则包含多个可能的候选答案。由于计算机资源有限，现阶段的模型往往难以把所有相关文档都放入阅读理解模型中进行训练，而且这些相关文档所包含的候选答案未必是绝对正确，含有一定的干扰性。因此，需要预先进行候选答案筛选。

目前在多文档多答案的阅读理解任务中进行的候选答案筛选的方法，大部分都是基于文档与问题或文档与答案之间的F1值及召回率去衡量两段文档的相关性，从而筛选出用来输入机器阅读理解模型进行训练的候选答案文档。还有些方法在此基础上添加了打分模型，通过利用打分模型去衡量文档与问题之间或文档与答案之间的相关性，这类打分模型大部分还是基于两段文本间的词汇重叠程度来进行相关性的衡量，词汇重叠数目越多、重叠比例越高，则相应的特征值也会越大。虽然这类方法取得了不错的效果，但这类方法单纯从统计层面分析，却忽略了语言的一词多义的特性；在多文档多答案的阅读理解任务中，不同候选答案间往往字面表达形式不同，但是语义层面有一定的相关性，而传统基于统计层面分析的方法，往往难以捕捉到不同答案的语义相关性，于是就难以充分利用多个候选答案的信息。因此，现有技术存在筛选准确度较低、答案遗漏的可能性较高的问题。

发明内容

为了解决上述技术问题，本发明的目的是提供基于语义的机器阅读理解的候选答案筛选方法和系统。

一方面，本发明提供了基于语义的机器阅读理解的候选答案筛选方法，包括以下步骤：

根据答案从文档中筛选出文档对应的候选答案片段；

根据语义相似性和答案从所述候选答案片段中筛选出最优候选答案片段；

根据语义相似性和答案从所述文档中获取候选答案文档，并计算获得最优候选答案片段在候选答案文档中的位置信息，所述候选答案文档和所述位置信息为机器阅读理解模型训练阶段的输入值。

进一步，所述根据答案从文档中筛选出文档对应的候选答案片段这一步骤，其具体包括：

根据第一预设条件从每个文档中筛选出若干个片段，并将每个片段分别与答案集中的所有答案求F1值，从而得到每个片段关于所有答案的F1值，所述F1值为衡量片段和答案的相关程度的指标；

取得到的每个片段关于所有答案的F1值中数值最大的F1值作为每个片段的答案相关系数；

取答案相关系数最大的片段作为每个文档的候选答案片段。

进一步，所述根据语义相似性和答案从所述候选答案片段中筛选出最优候选答案片段这一步骤，其具体包括：

将每个候选答案片段分别与答案集做第一处理，从而得到候选答案片段对应的平均相似度；