[发明专利]一种知识图谱赋能的基于信息检索的问答系统和方法

说明书

本发明公开了知识图谱赋能的基于信息检索的问答系统和方法，整体提升系统的问答效果，扩大用户咨询范围并提升问题反馈的准确度。其技术方案为：系统包括：知识图谱数据库存储领域知识图谱的信息；分词和词性标注模块将用户问题进行分词并对其词性标注；实体识别与链接模块将用户问题中的实体进行识别并将实体链接到知识图谱数据库中的节点上；意图理解模块基于实体链接结果及分布式表示向量得到用户问题的意图理解结果；检索模块基于检索数据源，根据用户问题中的信息检索出对应的多个问答对作为粗选结果；排序模块利用实体的分布式表示向量对粗选结果进行重排序；语义匹配模块利用实体的分布式表示向量对重排序结果进行打分并最终输出答案。

技术领域

本发明涉及一种人工智能和自然语言处理领域中的问答系统(QuestionAnswering System，QA System)和方法，具体涉及知识图谱(Knowledge Graph,KG)赋能的基于信息检索(Information Retrieval)的问答系统和方法。

背景技术

问答系统是目前人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。问答系统能用准确、简洁的自然语言回答用户用自然语言提出的问题。

在实际应用场景中，存在大量的问答对，例如积累下来的FAQ数据，可以用来作为问答系统的构建基础，在这个领域相对而言只有基于信息检索(Information Retrieval)的问答方法比较适合，它基于成熟的信息检索技术，使得问答系统的实现方便且快速，工程落地性好，同时有着较好的召回效果。

然而，现有基于信息检索的问答方法已不能满足用户对信息检索结果精准率日益提高的需求，现有基于信息检索的问答系统(Information Retrieval QA,IRQA)仅仅使用了字面或者语义层面的信息，对于一些常识等知识性信息利用较弱。

而知识图谱的出现带来了解决这个问题的契机，知识图谱技术可以更好的赋能认知计算，极大提升认知计算的效果，构建好的知识图谱可用于辅助增强基于信息检索问答系统的功能，弥补其缺陷，提高用户体验。除此之外，和基于知识图谱的问答系统(Knowledge Based QA，KBQA)相比，采用知识图谱赋能的基于信息检索的问答系统应用范围更广，覆盖率更高，不受知识图谱的限制却具备知识图谱带来的高精准率回复，因此提供知识图谱赋能的基于检索的问答系统受到了更为广泛的关注。

目前大部分公开的知识图谱都是百科型知识图谱，如zhishi.me、cn-dbpedia等，同时也有部分研究工作利用这些公开的百科知识图谱去赋能通用领域问答系统中的相关模块，如语义理解模块等，并取得了一定的性能提升。

然而，目前还没有采用知识图谱赋能基于信息检索问答系统的整体研究，性能提升有限，并且目前通用知识图谱也无法对垂直领域的知识进行很好的覆盖，如政务、基金等领域知识图谱具有领域知识强相关的特性，现有的基于信息检索的问答技术并不能顺畅对接领域知识图谱。

总的来说，目前市面上基于信息检索的问答系统具有如下缺陷：

(1)目前已有研究工作主要是利用构建好的通用知识图谱赋能基于信息检索问答系统中的语义信息模块，如意图识别模块，没有对基于信息检索的问答系统进行整体赋能，问答性能提升有限。

(2)目前公开的基于信息检索的问答系统，主要是对问答对，通过lucene、solr或者elastic-search等建立索引进行信息检索来实现问答，知识图谱赋能的模块也只是针对通用领域的知识，没有发现能够很好融入领域知识图谱的基于信息检索的问答系统。

因此，目前采用基于信息检索的问答系统以及采用通用知识图谱赋能问答系统部分模块的方式都很难实现令人满意的问答任务，市场上急需采用知识图谱赋能的基于信息检索的问答系统。

发明内容