[发明专利]一种基于分布式内存云的图数据存储方法和系统在审
申请号: | 201810253247.2 | 申请日: | 2018-03-26 |
公开(公告)号: | CN108600321A | 公开(公告)日: | 2018-09-28 |
发明(设计)人: | 许洪波;李春尧;陈波;陈茂森;严浩;范鹏程;程学旗 | 申请(专利权)人: | 中国科学院计算技术研究所 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F17/30 |
代理公司: | 北京律诚同业知识产权代理有限公司 11006 | 代理人: | 祁建国;梁挥 |
地址: | 100080 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 虚拟节点 哈希 图数据 哈希映射 内存 存储 新服务器 一致性哈希算法 节点发生故障 服务器分配 动态扩容 数据迁移 映射关系 服务层 检索图 更新 映射 服务器 删除 保存 分配 | ||
1.一种基于分布式内存云的图数据存储系统,其特征在于,该系统包括:
图服务层,用于在分布式内存云中为每个服务器分配虚拟节点,根据该虚拟节点的哈希值,将该虚拟节点映射到0~231的数值空间上,保存映射关系作为哈希映射表,同时将这个数值空间首尾相连生成哈希环,获取每个服务器所存储的图数据,同过在该哈希映射表上检索该图数据的哈希值,将该图数据存入对应的该虚拟节点;
当增加新服务器时,在分布式内存云中为该新服务器分配新虚拟节点并更新该哈希映射表,根据该新虚拟节点的哈希值,将该新虚拟节点加入该哈希环中,并根据该虚拟节点存储的图数据的哈希值和更新后的该哈希映射表,对该哈希环中每个该虚拟节点进行数据迁移。
2.如权利要求1所述的基于分布式内存云的图数据存储系统,其特征在于,该图服务层还包括,随机挑选一个虚拟节点作为主节点,用于监控该图数据存储系统的状态和维持该哈希映射表,其余虚拟节点作为从属节点,用于存储图数据。
3.如权利要求1所述的基于分布式内存云的图数据存储系统,其特征在于,该图服务层还包括:
图划分模块,根据图数据的拓扑结构,将图数据划分为多个子图,根据子图的规模,使用分布式内存云中多个虚拟节点存储该子图,并在指定的内存空间中对该子图进行拆分或合并,以节省内存空间。
4.如权利要求1所述的基于分布式内存云的图数据存储系统,其特征在于,还包括数据存储层,根据图数据的规模,为图数据分配邻接表和实体信息表,该邻接表用于存储图的邻接邻居与实体常用属性信息,该实体信息表用于存储图数据的多值属性与引用信息。
5.如权利要求1所述的基于分布式内存云的图数据存储系统,其特征在于,将该图数据形式化的定义为五元组G=<gid,V,R,T,μ>,其中G为该五元组,gid为该图数据的ID,V为该图数据中所有节点的集合,R为该图数据中所有关系的集合,T为该图数据中所有节点与关系类型的集合,μ为该图数据中所有时间信息的基本单位。
6.一种基于分布式内存云的图数据存储方法,其特征在于,该系统包括:
步骤1、在分布式内存云中为每个服务器分配虚拟节点,根据该虚拟节点的哈希值,将该虚拟节点映射到0~231的数值空间上,保存映射关系作为哈希映射表,同时将这个数值空间首尾相连生成哈希环,获取每个服务器所存储的图数据,同过在该哈希映射表上检索该图数据的哈希值,将该图数据存入对应的该虚拟节点;
当增加新服务器时,在分布式内存云中为该新服务器分配新虚拟节点并更新该哈希映射表,根据该新虚拟节点的哈希值,将该新虚拟节点加入该哈希环中,并根据该虚拟节点存储的图数据的哈希值和更新后的该哈希映射表,对该哈希环中每个该虚拟节点进行数据迁移。
7.如权利要求6所述的基于分布式内存云的图数据存储方法,其特征在于,该步骤1还包括,随机挑选一个虚拟节点作为主节点,用于监控该图数据存储系统的状态和维持该哈希映射表,其余虚拟节点作为从属节点,用于存储图数据。
8.如权利要求6所述的基于分布式内存云的图数据存储方法,其特征在于,该步骤1还包括:
图划分步骤、根据图数据的拓扑结构,将图数据划分为多个子图,根据子图的规模,使用分布式内存云中多个虚拟节点存储该子图,并在指定的内存空间中对该子图进行拆分或合并,以节省内存空间。
9.如权利要求6所述的基于分布式内存云的图数据存储方法,其特征在于,还包括数据存储步骤,根据图数据的规模,为图数据分配邻接表和实体信息表,该邻接表用于存储图的邻接邻居与实体常用属性信息,该实体信息表用于存储图数据的多值属性与引用信息。
10.如权利要求6所述的基于分布式内存云的图数据存储方法,其特征在于,将该图数据形式化的定义为五元组G=<gid,V,R,T,μ>,其中G为该五元组,gid为该图数据的ID,V为该图数据中所有节点的集合,R为该图数据中所有关系的集合,T为该图数据中所有节点与关系类型的集合,μ为该图数据中所有时间信息的基本单位。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810253247.2/1.html,转载请声明来源钻瓜专利网。