[发明专利]一种基于图数据库的知识图谱构建系统和方法有效
申请号: | 202010999621.0 | 申请日: | 2020-09-22 |
公开(公告)号: | CN112182238B | 公开(公告)日: | 2022-12-27 |
发明(设计)人: | 路智钦 | 申请(专利权)人: | 苏州浪潮智能科技有限公司 |
主分类号: | G06F16/36 | 分类号: | G06F16/36;G06F16/24 |
代理公司: | 北京众达德权知识产权代理有限公司 11570 | 代理人: | 张晓冬 |
地址: | 215000 江苏省苏州*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 数据库 知识 图谱 构建 系统 方法 | ||
1.一种基于图数据库的知识图谱构建方法,其特征在于,所述方法包括:
识别图数据库中的图数据类型,将不同类型的所述图数据分批次加载到CPU内存中;
将加载到所述CPU内存中的所述图数据逐个进行识别并标记结果属性关联字段,获得知识图谱的字段,并提取信息字段;
将所述信息字段按照比重建立数据维度内层模型,基于所述数据维度内层模型建立数据维度外层模型;
根据所述数据维度内层模型和所述数据维度外层模型分别将模型中的数据持久化,获得知识图谱数据库;
建立知识查询Web接口,解析查询命令,返回知识图谱数据库中调取结果数据;
其中,将所述信息字段按照比重建立数据维度内层模型,基于所述数据维度内层模型建立数据维度外层模型,包括:
利用所述知识图谱的字段中提取的所述信息字段,以唯一对应的信息字段为中心起点,以多个不唯一对应的信息字段为终点,按照比重建立多个数据向量,多个所述数据向量组成的全量数据集作为数据维度内层模型;
利用所述数据维度内层模型中的所述全量数据集为中心起点,以针对所述全量数据集不同策略的统计结果为终点,建立多个全数据向量,多个所述全数据向量组成的数据集作为数据维度外层模型。
2.根据权利要求1所述的一种基于图数据库的知识图谱构建方法,其特征在于,所述识别图数据库中的图数据类型,将不同类型的所述图数据分批次加载到CPU内存中,包括:
加载图数据的配置文件,识别图数据库中的图数据的类型;
对所述配置文件实时监控,随所述配置文件的修改动态变更所述图数据的加载策略;
调用与不同类型的所述图数据对应的API,将所述图数据按照所述加载策略加载到所述CPU内存中。
3.根据权利要求2所述的一种基于图数据库的知识图谱构建方法,其特征在于,对所述配置文件实时监控,随所述配置文件的修改动态变更所述图数据的加载策略,包括:
采用动态监控所述配置文件,所述配置文件修改则动态变更所述图数据的加载策略;
利用添加监控将丢失的所述图数据重新从数据源文件中进行加载。
4.根据权利要求2所述的一种基于图数据库的知识图谱构建方法,其特征在于,所述调用与不同类型的所述图数据对应的API,将所述图数据按照所述加载策略加载到所述CPU内存中,包括:
使用flume将所述图数据导入到kafka主题中;
调用与不同类型的所述图数据对应的API,将所述图数据按照所述加载策略从所述kafka主题中加载到所述CPU内存中。
5.根据权利要求1所述的一种基于图数据库的知识图谱构建方法,其特征在于,将加载到所述CPU内存中的所述图数据逐个进行识别并标记结果属性关联字段,获得知识图谱的字段,并提取信息字段,包括:
判断所述图数据中是否有指定的所述属性关联字段;
将全部所述属性关联字段或指定的所述属性关联字段进行解析、分割、提取和过滤,得到结果属性关联字段;
将所述图数据逐个进行识别并标记所述结果属性关联字段,获得知识图谱的字段;
从所述知识图谱的字段中提取信息字段。
6.根据权利要求1所述的一种基于图数据库的知识图谱构建方法,其特征在于,根据所述数据维度内层模型和所述数据维度外层模型分别将模型中的数据持久化,获得知识图谱数据库,包括:
将所述数据维度内层模型和所述数据维度外层模型中的数据持久化,得到最终持久化数据;
判断加载的图数据的配置文件中是否指定了最终持久化数据的数据库类型;
将没有指定数据库类型的所述最终持久化数据划分到hive分区表中,获得知识图谱数据库;将有指定数据库类型的所述最终持久化数据通过调用对应的API,将所述最终持久化数据划分到指定的数据库中,获得知识图谱数据库。
7.根据权利要求6所述的一种基于图数据库的知识图谱构建方法,其特征在于,在所述知识图谱数据库中,针对所述数据维度内层模型和数据维度外层模型分别建立不同的分区和表;使用solr或者es为分区和表创建索引字段。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010999621.0/1.html,转载请声明来源钻瓜专利网。