[发明专利]一种基于分布式计算平台的多源垂直知识图谱分类集成查询系统

说明书

本发明提供了一种基于分布式计算平台的多源垂直知识图谱分类集成查询方法。本发明包括集成控制管理系统、图检索服务系统和查询控制管理系统，集成控制管理系统构建多源垂直知识图谱分类集成目录模型，将存储在不同位置的垂直知识图谱集逻辑上按类别进行分类集成管理，并负责接收查询任务，拆分并下发子任务；图检索服务系统执行查询子任务，实现基于关键词组的知识图谱相关实体、关系查询；查询控制管理管理查询任务和并发查询子任务的执行。本发明可实现并行查询多个知识图谱，使用户无需进行全局模式数据集成即可完成基于关键词组的知识图谱相关实体、关系信息查询，可用于构建跨领域问答系统和应用系统推荐平台。

技术领域

本发明属于信息处理领域，可用于构建跨领域问答系统和应用系统推荐平台，具体涉及基于分布式计算平台的多源垂直知识图谱分类集成查询技术。

背景技术

知识图谱本质上是一种叫做语义网络(semantic network)的知识库，即具有有向图结构的一个知识库，其中图的结点代表实体(entity)或者概念(concept)，而图的边代表实体/概念之间的各种语义关系。知识图谱(Knowledge Graph)的概念由谷歌2012年正式提出，旨在实现更智能的搜索引擎，并且于2013年以后开始在学术界和业界普及，被广泛的应用于聊天机器人和问答系统中，用于辅助深度理解人类的语言和支持推理，并提升人机问答的用户体验等。此外，知识图谱还被应用于推荐系统中，通过识别用户行为轨迹中产生的实体和关系，查询知识图谱，系统化挖掘其他相关实体和关系，作为用户可能感兴趣的的推荐结果，以此提升数据分析的能力和推荐效果。

知识图谱分为通用知识图谱和垂直知识图谱(或行业知识图谱)。通用知识图谱不面向特定领域，可将其类比为“结构化的百科知识”。这类知识图谱包含了大量常识性知识，强调知识的广度。具有代表性的大规模通用知识图谱有YAGO、DBpedia、Freebase、NELL等，中文通用知识图谱有Zhishi.m、百度知心和搜狗知立方等。垂直知识图谱则面向特定领域，基于行业数据构建，强调知识的深度。垂直知识图谱可以看作基于语义技术的行业知识库，其潜在使用者是行业的专业人员。在金融、农业、电商、医疗健康、环境保护等大量应用领域，知识图谱都得到广泛的应用。例如，很多金融领域公司也构建了金融知识库以进行碎片化金融数据的集成与管理，并辅助金融专家进行风控控制、欺诈识别等；生物医疗专家通过集成和分析大规模的生物医学知识图谱，辅助其进行药物发现、潜在靶点识别等多方面任务。

随着搜索引擎技术不断发展，知识图谱的应用越来越广泛。与传统的搜索引擎不同，知识图谱将搜索结果进行知识系统化，有效地改善了用户查询体验。然而，由于不同领域知识图谱大多独立存在且所涵盖知识有限，仅面向单个知识图谱的查询结果显然不能全方位满足用户的查询需求。但是对于庞大的知识图谱群，实现全局模式下的数据集成不仅困难，也是不合理的，具体如下：

1、结构方面：不同的知识图谱的设计不同，采用的本体、类型术语都不尽相同。对于异质知识图谱知识融合，会涉及不同知识图谱中同义实体合并、关系合并问题，以及由此产生的实体/关系不一致性检测问题，有些可以通过机器学习方法自动解决、有些只能通过人工合并，随着数据量的不断增多，知识融合过程更加复杂、耗时。

2、数据质量方面：不同领域的知识图谱由各自领域专家或机构构建，数据的质量相对较高，但在知识融合过程中，仍然会出现同一个知识在不同知识图谱中描述不一致的情况，此时需要人工审核、校对、合并，需要消耗大量的人力。

3、存储方面：合并的知识图谱越多，图数据就越多，受单台设备存储空间限制，势必要将图数据拆分存储在不同设备中，这样相当于变相的把合并后的知识图谱再次拆分，并且拆分存储的图数据在知识划分层面没有任何规律。因此，在检索特定领域数据的时候无法快速定位该数据所在的存储设备。