[发明专利]一种基于LSM树的动态幂律图存储方法

说明书

本发明公开了一种基于LSM树的动态幂律图存储方法，包括：图数据动态更新时，统计图的顶点出度信息，以内存顶点表的形式对大度数顶点和普通顶点进行分离存储；对大顶点表和普通顶点表，根据幂律分布比例分配内存；当各顶点表的数据量超过阈值时，根据内存分配比例对应的线程数对图数据进行并发溢写。本发明能减轻基于幂律分布的图数据更新频繁时产生的数据合并开销和存储资源浪费等问题，在知识图谱和图计算领域具有良好的实用价值和前景。

技术领域

本发明属于计算机技术领域，具体涉及一种基于LSM树的动态幂律图数据存储方法。

背景技术

近年来，图计算被越来越多的应用于复杂网络、深度学习、脑科学及社区发现等领域。随着图数据集规模和复杂性不断增长，如何设计高效的图存储机制越来越受到人们的关注。针对该问题，先后出现了如GFS(Google File System)、HDFS(Hadoop File System)等基于键值对的PB级分布式文件系统，设计上基于“一次写多次读”的设计模式，充分利用了硬盘顺序读取比随机读取高效的特点，以提高吞吐率，同时具有较好的可扩展性。

然而，在真实的网络中，图数据往往是实时更新的，且在度分布上存在无标度现象，即节点度分布近似服从幂律，如微博意见领袖、网页权重分级等。HDFS等文件系统基于批处理和追加记录的方式，难以适应图数据频繁更新的需求，导致如数据冗余，合并后重复计算开销大等问题，也没有考虑图数据自身如幂律分布等特点。LSM树(Log-StructuredMerge Tree)是一种基于日志合并的树型存储结构，思想是在内存中对写操作进行合并，将数据的随机写转换成了顺序写，以提高磁盘写的吞吐率，主要适用于动态环境下，写多读少的应用场景。

发明内容

发明目的：为了解决现有图存储技术中存在的问题，本发明提供一种基于LSM树的动态幂律图存储方法，将低度数顶点和大度数顶点分离存储，并根据图数据当前度数的幂律分布统计信息分配内存，并配置相应比例的并发溢写线程数，可以减轻基于幂律分布的图数据更新频繁时产生的数据合并开销和存储资源浪费等问题，适用于存储动态图结构的数据。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于LSM树的动态幂律图存储方法，包括：图数据动态更新时，记录图的顶点出度信息，以内存顶点表的形式对大度数顶点和普通顶点进行分离存储。对大度数顶点表和普通顶点表，根据幂律分布指数分配内存。当各顶点表的数据量超过阈值时，根据内存分配比例对应的线程数对图数据进行并发写入，具体包括以下步骤：

步骤201：在LSM树结构的基础上，增加用于统计图数据信息的顶点出度统计表，同时将原有的内存顶点表划分为大度数顶点表和普通顶点表。

步骤202：图数据更新时，首先更新WAL日志，然后在顶点出度统计表中更新顶点的统计信息，并根据顶点的出度和统计信息判断是否为大度数顶点，最后将该顶点对应键值对插入大度数顶点表或普通顶点表：大度数顶点的键值对插入大度数顶点表，普通顶点的键值对插入普通顶点表。

步骤203：当大度数顶点表或普通顶点表内部的图数据量超过限定的内存阈值时，启动相应比例的多线程，根据哈希算法对磁盘上的L₀层写入各分区文件。

优选的：步骤201中的顶点出度统计表，指的是在图顶点和出度邻居顶点数量的映射。

优选的：步骤202中根据顶点的出度和统计信息判断是否为大度数顶点的方法：判定标准为出度邻居数量大于阈值时，则为大度数顶点，否则为普通顶点。阈值的选择取决于当前顶点出度统计表中出度的幂律分布比例。

优选的：判断是否为大度数顶点的阈值k取决于如下幂律公式：

p(k)＝k^-γ

其中，k代表顶点的度，γ为度指数，则p(k)代表度为k的顶点占总顶点数的比例。