[发明专利]一种基于多层划分框架的RDF分布式存储方法

说明书

本发明公开了一种基于多层划分框架的RDF分布式存储方法，主要步骤包括：(1)通过MMA算法优化RDF图中的顶点移动，保护了RDF图中小社团；(2)通过MSLM算法对RDF图进行粗糙化，发现了RDF图中的社团结构，并且在此基础了缩小了RDF数据的规模；(3)通过B_AP算法实现了对RDF图的k‑way分割，使得各个物理存储节点之间的数据量相对平衡并且降低了节点之间的通信代价。本发明提出了完整的RDF分布式存储方法，为提升RDF的查询效率奠定了基础。

技术领域

本发明属于分布式存储领域，具体涉及一种基于多层划分框架的RDF分布式存储方法。

背景技术

随着语义网的高速发展，RDF(Resource Description Framework)作为语义网的核心标准也呈现爆炸式的增长，对大规模RDF数据的存储和查询管理成为了当前研究的热点。传统基于单机的RDF存储和查询由于数据扩展性差等问题在面对超大规模的RDF数据时难以管理，所以基于分布式的RDF存储和查询成为了研究趋势，而如何更好地将RDF分割且进行分布式查询成为了在分布式系统上对RDF研究的重点。

分布式系统和云计算平台因为存储空间大，可扩展性强等优势而在各个领域取得长足发展。而RDF数据集的日渐增长也使得对RDF的存储和查询的研究在近些年来越来越多地向基于分布式系统或者云计算平台发展。分布式系统存储RDF图数据主要涉及到在分布式环境下的布局形式，分割算法，冗余算法等诸多问题。现有的RDF分布式存储技术主要包括基于哈希的RDF分割方法，基于键值对的RDF分割方法，基于图模型的RDF分割方法和基于多层划分框架的RDF分割方法，其中当前最为流行的就是基于多层划分框架思想的RDF分割方法。

针对RDF分布式存储方法，申请人通过查询，检索到2篇与本发明相关的发明专利：

(1)一种分布式层次化的RDF数据的存储方法，申请号：201310658588.5；该专利公开了一种分布式层次化的RDF数据的存储方法，包括：对所有RDF数据进行索引；采用两个存储层以存储索引后的RDF数据，从底层到上层依次为：持久化存储层和分布式内存存储层；所有RDF数据首先存储到持久化存储层，然后，将常用的RDF数据存储到分布式内存存储层；将所有存储在持久化存储层的RDF数据自动保持多个备份；当检测到分布式内存存储层的节点发生数据失效时，在下次查询到该节点中的RDF数据时，从持久化存储层去获取相应的数据。

(2)一种高效的分布式的RDF数据存储方法，申请号：201610064516.1；该专利公开了一种高效的分布式的RDF数据存储方法。包括：1)用户为待上传的每一三元组选取一命名图或设定一新的命名图；并根据业务需求为该三元组设定一有效谓词及其三元组；2)数据控制系统对用户上传的RDF数据中的每条三元组进行解析，提取该三元组的谓词及该三元组的命名图的有效谓词；然后根据该有效谓词，将该三元组拆分成具有相同唯一标识的两个三元组：同一主语的完整谓词的三元组和同一主语的有效谓词的三元组；有效谓词为完整谓词中一部分谓词；3)数据控制系统将得到的同一主语的完整谓词的三元组数据和同一主语的有效谓词的三元组数据分别存储到不同的数据库集群。

上述的两个专利方案中均没有从宏观上考虑RDF的社团特性与分布式系统的通信代价问题，从而可能导致各个物理节点之间交叉边数目过多而使得查询效率下降，无法达到高效存储的目的。

发明内容

本发明的目的在于提供一种基于多层划分框架的RDF分布式存储方法，以克服现有技术存在的物理节点之间低平衡性与高通信代价的缺陷。

本发明采用如下技术方案来实现的：

一种基于多层划分框架的RDF分布式存储方法，该方法通过MMA算法和MSLM算法实现对RDF图的粗糙化，通过B_AP算法实现对RDF图的k-way分割，具体步骤如下：

Step1执行以下初始化操作：