[发明专利]图数据库的数据导入方法和装置、存储介质及电子设备在审
申请号: | 202110858726.9 | 申请日: | 2021-07-28 |
公开(公告)号: | CN113468275A | 公开(公告)日: | 2021-10-01 |
发明(设计)人: | 杨福星;周明伟;朱林浩;俞毅;沈秋军;何林强 | 申请(专利权)人: | 浙江大华技术股份有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/36;G06F16/2458;G06F3/06 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 王晓婷 |
地址: | 310051 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据库 数据 导入 方法 装置 存储 介质 电子设备 | ||
1.一种图数据库的数据导入方法,其特征在于,包括:
确定待上传的数据文件,其中,所述数据文件包括:图数据对应的点数据与边数据的数据映射文件;
通过主节点对所述数据映射文件进行处理,得到所述数据映射文件与从节点对应的数据块分布列表;
所述主节点通过所述数据块分布列表将从节点对应待处理的数据块分配给从节点,并分发所述数据块对应的处理任务;
在所述从节点对所述数据块完成分布式并发处理的情况下,所述主节点根据所述分布式并发处理的处理结果确定出图数据库导入的边界数据。
2.根据权利要求1所述的方法,其特征在于,所述主节点根据所述分布式并发处理的处理结果确定出图数据库导入的边界数据,包括:
所述主节点获取每一个所述从节点上所述数据块的处理结果中的边界偏移量;
对所述边界偏移量通过预设算法进行汇总运算,以得到所述边界偏移量对应的所述导入的边界数据。
3.根据权利要求1所述的方法,其特征在于,所述从节点对所述数据块的分布式并发处理,包括:
在确定所述数据映射文件为点数据对应的数据映射文件的情况下,所述图数据库向所述从节点返回的顶点ID,以指示所述从节点在本地缓存中写入所述顶点ID,其中,所述从节点用于导入待上传的数据文件对应图数据的点数据和/或边数据;
在确定所述数据映射文件为边数据对应的数据映射文件的情况下,确定边数据对应的两端顶点ID在所述从节点的本地内存中是否存在,以确定出所述边数据的确认方式。
4.根据权利要求3所述的方法,其特征在于,确定边数据对应的两端顶点ID在所述从节点的本地内存中是否存在,以确定出所述边数据的确认方式,包括:
在所述边数据对应的两端顶点ID不存在于所述从节点的本地内存中的情况下,从所述主节点对应的其它从节点对所述顶点ID进行分布式查询;
在所述边数据对应的两端顶点ID存在于所述从节点的本地内存中的情况下,根据所述从节点本地内存的缓存中查询到所述顶点ID直接进行边数据的写入。
5.根据权利要求4所述的方法,其特征在于,从所述主节点对应的其它从节点对所述顶点ID进行分布式查询,包括:
所述主节点通过远程调用框架获取所述其它从节点上缓存的顶点ID的信息进行查询;
在所述查询对应的查询结果找到所述边数据对应的顶点ID的情况下,使用所述其它从节点上的所述顶点ID指示边数据的写入。
6.根据权利要求1所述的方法,其特征在于,在所述从节点对所述数据块完成分布式并发处理的情况下,主节点根据所述分布式并发处理的处理结果确定出图数据库导入的边界数据之后,所述方法还包括:
所述主节点通过远程调用框架汇总每一个所述从节点上确定的所述数据块的偏移量以及边界信息,并对所述边界信息进行整理;
根据所述偏移量以及所述边界信息获取完整的边界数据;
在所述主节点已获取所述完整的边界数据的情况下,通知所述从节点进行导入该所述完整的边界数据。
7.根据权利要求1所述的方法,其特征在于,确定待上传的数据文件之后,所述方法还包括:
确定待上传的数据文件对应的图名是否存在于图数据库中,其中,数据文件还包括:图数据对应的图谱元数据文件,所述图名用于指示图数据对应数据文件的名称;
在所述图名不存在于所述图数据库的情况下,根据所述图名和所述图谱元数据文件在所述图数据库中创建新的图数据文件及加载所述新的图数据文件对应的目标图谱。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大华技术股份有限公司,未经浙江大华技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110858726.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:标线识别方法、装置、存储介质及电子装置
- 下一篇:一种轴控运动控制结构
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置