[发明专利]基于语义联合的答案选取方法及系统

说明书

本发明提供一种基于语义联合的答案选取方法，文本预处理与输入层对原始数据预处理，删除无正确答案问题，将问题与答案语义联合拼成文段序列，使用特殊标志分割将问题和答案句子区分，得到格式数组；语义编码层将格式数组输入，用自注意力机制使单词成为隐藏文段中其他单词信息的语义向量，并输入向前传播层，得到文段的向量表示；特征提取层获取向量表示作为问题和答案的语义信息，用线性函数将高维向量转化为低维；并用进行特征提取，获得语义语法信息；语义关联层使用分类，对语义语法信息的相关联程度进行评分，得到二维向量，选取后一维度的数值，得到关联度。本发明的方法在问答数据集上表现出优越的性能，提取答案与问题关键信息能力显著。

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种基于语义联合的答案选取方法及系统。

背景技术

随着互联网技术的快速发展，网络中的文本信息量呈指数级增长，成为了人们获取信息 的重要来源，因此，利用搜索引擎从海量信息中检索出所需的信息已成为人们获取信息的主 要方式。

然而，申请人在研究中发现，现有的搜索引擎的检索策略大多是基于字符串匹配，缺乏 从语义角度挖掘知识的能力，导致搜索结果精度差，冗余度高。还需要用户从大规模搜索结 果中进一步理解和筛选才能够获取到真正需要的信息，这与用户快速准确获得信息的需求还有一定的差距。因此提出一套能够从语义角度进行分析的答案选取模型对改进搜索策略有重 大意义。

近些年，自然语言处理技术，在深度学习研究的浪潮下也慢慢地从先前的基于特征表示 的层面转向语义表示的层面。作为自然语言处理的重要研究方向，答案选取也得到了技术和 方法的依托。但是，现有技术的答案选取模型，仅仅从浅层的语句特征中进行信息统计，然后利用统计得到的浅层语义信息进行下游任务的训练和学习。这种方法虽然简单可行，但由 于自然语言的复杂和多样性，其无法对一词多义和近义词进行辨别，导致特征信息表示的可 区分性不尽人意。

2018年BERT模型的提出，打破了自然语言处理的瓶颈，其完全基于注意力机制的模型 刷新了机器阅读理解的榜单，甚至在一些任务上得分超过人类选手。谷歌团队使用大规模语 料和强大的计算资源，为自然语言处理研究打下了坚实的基础，同时也为句子语义的表征提 供了新的思路。

申请人在研究中发现，BERT强大的语义编码能力同样可以运用到答案选取任务中，借助 其强大的语义编码能力，对答案和问题进行语义表征。其设计方法与人类在做阅读理解时的 思路非常吻合，通过关注句子中的关键信息补全整个句子的语义倾向，并对句子进行语义表达。

答案选取作为阅读理解的一个具体任务，同时也是搜素引擎的关键技术之一，其选取结 果直接关系到用户的满意度，同时一个高效、健壮的答案选取模型还影响着互联网企业的核 心竞争力。然而申请人在研究中发现，现有技术的答案选取模型，缺乏从语义层面对问题和答案对进行研究，虽然取得了较好的效果，但研究工作都仅仅局限在训练方法和上层模型中。

发明内容

为了解决现有技术存在的问题，本发明借助深度学习技术，从语义理解层面，在整个阶 段进行研究，提出一种基于语义联合的答案选取方法及模型--ASMSU(AnswerSelection Model Based on Semantic Union)。本方法及模型从语义理解的角度融合问题与答案之间的相关性， 然后在此基础上进行n元语法特征提取，用以完成答案选取工作，并公开一种上述方法的系 统。采用本发明的方法和系统，增强了问题与答案之间关键信息配对，同时通过特征提取器 又挖掘出问题与答案之间潜存的关联信息，解决了答案选取模型中关键信息抽取效率低下的 问题，提升答案的选取效果。

为了实现上述技术目的，本发明的技术方案如下。

一方面，本发明提供一种基于语义联合的答案选取方法。

基于语义联合的答案选取方法，包括文本预处理与输入层、语义编码层、特征提取层和 语义关联层；