[发明专利]结合关键词检索与孪生神经网络的目标领域问答推送方法

说明书

本发明公开了一种结合关键词检索与孪生神经网络的目标领域问题答案推送方法。本方法基于互联网和专家知识对历史问题进行预处理，然后结合关键词检索方法和基于孪生神经网络的语义相似度模型，对用户提出的实时问题智能推送匹配度最高的答案。本方法能够较好地平衡效率和性能，同时保证方法的召回率和准确率，在智能问答系统领域具有较大的实用意义。

技术领域

本发明涉及数据挖掘和自然语言处理领域，尤其涉及一种结合关键词检索与孪生神经网络的目标领域问答推送方法。

背景技术

与搜索引擎系统类似，智能问答系统也是从大量数据中找到最能满足用户意图的文字信息。然而，两者的不同之处包括：首先，搜索引擎系统要求用户明确地输入关键词，而智能问答系统允许用户输入更符合人类习惯的自由问句。其次，搜索引擎系统返回大量的搜索结果，需要用户自行从中找出最符合其意图的，而智能问答系统返回一个或少量最符合用户意图的结果，能大大提高用户的信息获取效率。因此，智能问答系统比搜索引擎系统具有更高的技术挑战。

根据底层技术的不同，智能问答系统大致可以分为基于信息检索的智能问答系统、基于阅读理解的智能问答系统、基于知识图谱的智能问答系统等。其中，基于信息检索的智能问答系统指在真实历史问答数据中搜索得到最符合用户当前问题的答案。由于真实历史问答数据通常由领域专家提供，因此基于信息检索的智能问答系统通常精确度较高、覆盖率较低，这种特性使得其较为适合实现专业的、对答案质量要求较高的目标领域的智能问答系统。

现有基于信息检索的智能问答系统的实现技术主要包括关键词检索和语义匹配两种。关键词检索指从用户问题中抽取关键词，然后转化成一个全文检索的任务。由于全文检索可以有效地利用数据库索引，因此执行效率很高。然而，将用户问题抽象成几个关键词，丢失了问题整体的语义和关键词间的关联，导致难以找到最符合用户意图的答案。另一方面，语义匹配指将用户问题和历史问题(或历史答案)进行语义相似度计算，然后返回语义相似度最高的若干答案。语义相似度计算通常基于机器学习模型实现，因此能够较为精确地找到符合用户意图的答案。然而，由于需要计算用户问题和每个历史问题(或历史答案)的语义相似度，计算量巨大，在历史数据很大的情况下难以保证系统的实时性。

发明内容

为了克服上述现有技术的不足，本发明提供一种结合关键词检索与孪生神经网络的目标领域智能问答方法，可有效解决上述问题。本发明具体采用的技术方案如下：

一种结合关键词检索与孪生神经网络的目标领域问答推送方法，用于根据用户提出的实时问题推送相应的答案，该方法包括以下步骤：

S1：对目标领域进行知识构建和历史问题数据预处理，具体包含以下子步骤S101～S104：

S101：获取并筛选出与目标领域相关的词条作为概念词，建立领域概念词表；

S102：对领域概念词表中的每个概念词，给出表达方式不同的同义词，在此基础上建立领域概念词消歧表，将不同表达方式的同义领域概念词映射到同一个词；

S103：将领域概念词表加入分词词表，然后对每个历史问题进行分词和去停用词处理；

S104：对每个历史问题，基于领域概念词表和领域概念词消歧表将句子中出现的所有不同表达方式的领域概念词替换为同一个词；

S2：基于孪生神经网络训练语义相似度模型，用以计算任意两个句子的语义相似度值，具体包含以下子步骤S201～S205：

S201：收集短句样本，并根据短句表达的含义将其进行分类，构建训练集TS；所述训练集TS里的每个样本为一个三元组其中和分别为经过分词、去停用词和消歧预处理的两个短句，y_i为和的关系标注，若两个短句属于同一类型则y_i为1，属于不同类型则y_i为0；