[发明专利]一种基于分布式内存云的图数据存储方法和系统

说明书

本发明涉及一种基于分布式内存云的图数据存储方法和系统，包括：图服务层，用于在分布式内存云中为每个服务器分配虚拟节点，根据虚拟节点的哈希值，将虚拟节点映射到哈希环，保存映射关系作为哈希映射表，获取每个服务器所存储的图数据，同过在哈希映射表上检索图数据的哈希值，将图数据存入对应的虚拟节点；当增加新服务器时，在分布式内存云中为新服务器分配新虚拟节点并更新哈希映射表，根据新虚拟节点的哈希值，将新虚拟节点加入哈希环中，并根据虚拟节点存储的图数据的哈希值和更新后的哈希映射表，对哈希环中每个虚拟节点进行数据迁移。通过一致性哈希算法使本发明支持动态扩容，也即能增加或删除节点，且节点发生故障时能尽量减少损失。

技术领域

本发明涉及图数据存储领域，特别涉及一种基于分布式内存云的图数据存储方法和系统。

背景技术

近十几年来，随着互联网技术普及和Web2.0技术的推动，互联网社交关系数据增长迅猛，据CNNIC发布的《第36次中国互联网发展状况报告技术》显示，截止到2015年6月，微博用户数量达到1.62亿，使用率达到27.3％。爆炸式的关系网络数据的增大带来的存储和计算问题日益突出，海量数据关系网络图的存储与分析面临着巨大的挑战。

图存储系统，其中图存储是指将结构化数据(从数学角度叫做图)存储在网络，根据扩展性分为单机文件图存储系统与分布式图存储系统。

基于磁盘文件存储的单机图数据库Neo4j为代表，Neo4j是当前比较成熟的开源图数据库系统，同时也由Neo Technologies公司提供商业支持。Neo4j使用了属性图数据模型，支持OLTP应用和简单的图分析计算，提供支持ACID特性的事务和描述性查询语言Cypher，并且具有丰富的查询与访问接口。

在分布式环境下，主要分为基于磁盘文件的分布式Key-Value数据库与分布式内存云数据库为主，基于磁盘文件的分布式数据库其主要代表为HBase；分布式内存云图存储系统主要以Trinity为代表。两种数据库分布式环境为大规模图存储提供了强有力的平台与技术支撑，两种不同形态的分布式图存储系统介绍如下。

在分布式环境下，基于Apache HBase实现的Titan是基于磁盘文件分布式数据库实现的代表图数据库，可以支持上百亿的节点的存储。Titan是基于分布式数据库实现数据底层存储，支持在Apache HBase与Cassandra作分布式存储，利用Elasticsearch检索系统实现图数据检索。Titan在图数据操作上支持ACID事务操作，并且与BluePrint组件结合为用户提供图操作接口。

Trinity是分布式内存图数据库，由微软公司提供开发与维护。Trinity与Neo4j与Titan相比，是建立在内存系统之上，有着极高的数据随机访问效率，所以Trinity对低延迟的在线查询与高通量的离线分析算法都表现出极好性能，支持大量离线算法。

分布式内存云是由大量服务器的内存组成的一种数据存储系统，数据信息都存储在动态随机访问存储器RAM中，取代传统硬盘。RAMCloud适合用于快速响应的存储服务器的数据中心，其访问速度远快于传统磁盘文件。性能可以达到目前最高性能的硬盘存储系统还要高100至1000倍。在访问延迟方面，RAMCloud从内存中通过网络读取数上百字节，只需5～10微秒。而且一台多核存储服务器可以服务每秒至少100万次读取请求，而硬盘系统在随机读取中，同样的机器每秒只能服务1000到10000次请求。所以RAMCloud在对海量数据方面具有显著优势，特别针对IO算法较大的批量运算，能够极快提升效率。

一般性的分布式内存云的系统架构如图10所示，包含两个部分：主节点Master和备份Backup，Master管理了存储在内存中的数据，Backup使用本地的机械硬盘或者固态磁盘对图数据的备份信息进行保存，图10中协调器的作用包括数据存放节点分配，数据一致性管理，存储节点维护和管理等。