[发明专利]机器阅读理解以及减少候选数据集规模的方法、装置

说明书

公开了机器阅读理解的实现方法，根据问题类型过滤第一数据集合得到过滤后的第二数据集合；将问题与第二数据集合中的数据i进行语义匹配，得数据i的语义匹配得分；将问题与所述数据i进行最大覆盖度计算得到数据i的特征匹配得分；加权所述数据i的语义匹配得分和特征匹配得分得到问题与数据i的匹配得分；对数据i按照多文档投票算法计算数据i的投票得分，根据数据i的匹配得分和投票得分，计算出数据i的最终得分；按照最终得分的降序选择序列中前n个数据，作为候选数据集；将所述候选数据集输入基线模型，基于基线模型对输入数据集进行答案预测，得到所述问题的候选答案集。本申请实现了对数据集合的排序，对问题抽取出有效地答案。

技术领域

本发明涉及自然语言的机器理解，特别地，涉及一种机器阅读理解的实现方法以及装置。

背景技术

随着互联网的兴起和发展，数据急速增长，如s4何利用机器阅读理解技术来帮助用户查找到满意的答案，是自然语言理解技术研究领域中的一个经典课题。机器阅读理解作为自然语言理解的一个子领域，让机器具备自然语言的阅读理解与问答能力，一直是研究者和业界关注的对象，也是目前智能语音交互和人机对话的核心难题。机器阅读理解(Machine Reading Comprehension)是让机器像人类一样通过阅读自然语言文本，然后经过推理总结，从而能够精准地回答和阅读内容相关的问题。

机器阅读方法分为两类：分别为生成式和抽取式。生成式是从理论上来说不受知识的局限，对于问题自动生成答案，但是生成式有时产生的答案答非所问，句式不通，不能很好地体现出人类的思维逻辑以及自然表述的特点。抽取式通过给定问题以及相关的文章进行训练，让机器具备阅读的能力，并对提出的新问题，在相关文章中抽取出相应的答案。相对于生成式而言，抽取式的技术优势更加明显，应用更为广泛。

自斯坦福机器阅读理解数据集SQuAD问世以来，经过谷歌、微软、百度、科大讯飞、腾讯、斯坦福大学等在内的众多研究机构的不懈努力，形成了“词向量化——语义编码——语义交互——答案预测”这样一套四层机器阅读理解模型体系。该体系的主要思想是：首先，将自然文本表示为可计算的向量，其次，融合问题向量与支撑文档向量来使得机器学习到语义交互信息，最后，根据交互信息预测答案的位置或逐一输出最大概率的字词来生成答案。

现在，通过搜索引擎来搜索问题，会返回相关的网页，用户需要通过点击到网页中进行浏览，查找自己需要的答案。如果搜索引擎能够针对用户的问题，准确的为用户返回他们需要的标准答案，这会极大的节省用户宝贵的时间，并会带给用户良好的用户体验。

发明内容

本申请提供一种机器阅读理解的实现方法，以提高搜索的问题与所返回的答案相匹配的精准性。

一种机器阅读理解的实现方法，该方法包括，

根据问题类型过滤第一数据集合，得到过滤后的第二数据集合；

将问题与第二数据集合中的数据i进行语义匹配，得数据i的语义匹配得分；

将问题与所述数据i进行最大覆盖度计算，得到数据i的特征匹配得分；

加权所述数据i的语义匹配得分和特征匹配得分，得到问题与数据i的匹配得分；

对数据i按照多文档投票算法计算数据i的投票得分，根据数据i的匹配得分和投票得分，计算出数据i的最终得分；

按照所计算得到的最终得分的降序，对所述第二数据集合中的数据进行排序，选择序列中前n个数据，作为候选数据集；

将所述候选数据集作为基线模型的输入数据集，

基于基线模型对输入数据集进行答案预测，得到所述问题的候选答案集，

其中，i为不大于第二数据集合中数据总数的自然数，n为基线模型的输入数据集合中的数据个数。

可选地，对候选答案集中的候选答案进行交叉验证，