[发明专利]一种基于键值对的RDF数据管理方法、装置及存储介质

说明书

本发明实施例公开了一种基于键值对的RDF数据管理方法、装置及存储介质，针对RDF图上的每组相邻节点以及相邻节点之间的有向边，分别以各节点以及有向边为键构建键值对，然后分别将各键值对中的值分别存储在SSD上不同的存储单元中，并在其它存储单元中，对所有键值对中的键以及值的物理存储地址所组成的索引表进行存储，以及将键的存储地址保存于地址记录表中。通过本发明的实施，将SSD上的存储单元分为表区域和数据区域，通过表区域存储包括键与对应于键的值的物理存储地址的索引表，通过数据区域存储值，利于实现全面、可扩展的RDF数据管理，充分利用了SSD的高并行性，极大提高了在SSD上的数据管理性能。

技术领域

本发明涉及数据管理领域，尤其涉及一种基于键值对的RDF数据管理方法、装置及存储介质。

背景技术

大数据时代，信息呈现出高度非结构化和自由而丰富的关联性，许多知识库如微博、Facebook等的数据集通常以资源描述框架(RDF，Resource Description Framework)的形式进行存储。RDF数据实际上是由一些列的三元组数据组成的，其中每个三元组都是由三个元素组成：资源、属性和属性值，也称之为主语(Subject)、谓语(predicate)以及宾语(Object)。

近些年随着RDF的普及，RDF数据的数量已经大大增加，在许多RDF数据集中(例如Wikipedia)产生了数十亿个三元组。因此，如何有效地管理这些庞大的RDF数据成为一个巨大的挑战。目前，通常是将RDF数据在固态硬盘(SSD，Solid State Drive)进行存储，然而相关技术中在存储过程中，并未考虑到SSD内部的空间特性，例如channel，die，plane等内部信息，而是将RDF数据随机存储在SSD上的空闲存储单元，使得SSD的性能未得到充分发挥，在SSD上的数据管理性能较低。

发明内容

本发明实施例的主要目的在于提供一种基于键值对的RDF数据管理方法、装置及存储介质，至少能够解决相关技术中将RDF数据随机存储在SSD上的空闲存储单元，所导致的SSD性能未得到充分发挥，以及基于SSD的数据管理性能较低的问题。

为实现上述目的，本发明实施例第一方面提供了一种基于键值对的RDF数据管理方法，该方法包括：

基于待存储RDF数据创建RDF图；所述待存储RDF数据中所有三元组的主语和宾语对应于所述RDF图上的相邻的两个节点，谓语为所述主语和宾语所对应的所述相邻的两个节点之间的有向边；

基于所述RDF图上的各所述节点和所述有向边分别生成键值对；所述键值对包括第一键值对、第二键值对以及第三键值对，所述第一键值对以所述各节点为键，并以所述各节点向外延伸方向上的相邻节点，以及所述各节点与所述相邻节点之间的有向边所组成的集合为值，所述第二键值对以所述各节点为键，并以所述各节点向内引入方向上的相邻节点，以及所述各节点与所述相邻节点之间的有向边所组成的集合为值，所述第三键值对以所述相邻的两个节点之间的有向边为键，所述相邻的两个节点所组成的集合为值；

将各所述键值对中的键所对应的值分别存储于所述SSD上物理存储地址不同的存储单元中，然后在所述SSD上的其它存储单元中，对所有所述键值对中的键以及对应于所述键的值的物理存储地址所组成的索引表进行存储，并将所述键的物理存储地址保存于地址记录表中。

为实现上述目的，本发明实施例第二方面提供了一种基于键值对的RDF数据管理装置，该装置包括：

创建模块，用于基于待存储RDF数据创建RDF图；所述待存储RDF数据中所有三元组的主语和宾语对应于所述RDF图上的相邻的两个节点，谓语为所述主语和宾语所对应的所述相邻的两个节点之间的有向边；