[发明专利]一种基于MapReduce的图数据删除方法及系统

说明书

本申请公开了一种基于MapReduce的图数据删除方法及系统，所述方法包括以下步骤：判断点上存储的Label信息与待删除VertexLabel是否相等，确定待删除点；删除所述待删除点的索引；删除所述待删除点的对端点上的边信息；使用HBase delete Rowkey删除所述待删除点。通过本申请，能够在原始数据缺失的情况下，对图谱数据进行快速高效的删除。

技术领域

本发明涉及大数据技术领域。更具体的说，本发明涉及一种基于MapReduce的图数据删除方法及系统。

背景技术

知识图谱被用于描述事物之间的关联，一种知识图谱的具体描述方式包括定义图谱中的实体(即图中的点)、关系(即图中的边)和实体/关系相关的属性(即属性图)，其描述定义离不开对图数据库的使用，目前的普遍做法是将真实的实体关系原始数据导入到图数据库中，再通过图数据库的接口实现知识图谱的构建。

JanusGraph是一个高度可扩展的分布式图数据库，MapReduce是一种基于并行计算来处理大规模数据集的编程模型，HBase是一个分布式的、面向列的开源数据库存储系统。HBase提供了一种方法可以使用MapReduce读取HFile并创建Job，所述方法为：TableMapReduceUtil.initTableSnapshotMapperJob，该方法的输入是SnapshotName、Scan、Mapper等。

当出现一些不需要在知识图谱中展示的实体关系数据(即脏数据)时，就需要对图数据库中的数据进行清理，目前清理方法普遍有两种：利用原始数据调用相应的第三方图数据库接口进行删除；利用基于图数据库计算框架tinkerpop开发的gremlin console进行删除。然而以上两种方法都是单线程的，需要有原始真实数据的存在，且数据先从底层存储返回给图数据库端，再从图数据库返回客户端，存在网络开销，所以都只适用于小批量数据的统计，而且效率不高。

发明内容

本申请实施例提供了一种基于MapReduce删除图数据的方法，以至少解决相关技术中主观因素影响的问题。

本发明提供了一种基于MapReduce的图数据删除方法，所述方法包括以下步骤：

判断步骤：判断点上存储的Label信息与待删除VertexLabel是否相等，确定待删除点；

索引删除步骤：删除所述待删除点的索引；

对端点删除步骤：删除所述待删除点的对端点上的边信息；

点删除步骤：使用HBase delete Rowkey删除所述待删除点。

作为本发明的进一步改进，所述判断步骤具体包括以下步骤：

给定步骤：给定所述待删除VertexLabel；

VertexLabelId获取步骤：通过所述待删除VertexLabel得出该Label存储的索引Rowkey，进而得到待删除VertexLabelId；

第一遍历步骤：依次遍历点的Cell信息；

ID判断步骤：判断点上存储的Label ID与所述待删除VertexLabelId是否相等，查找出相等的点为所述待删除点。

作为本发明的进一步改进，所述索引删除步骤具体包括以下步骤：

第二遍历步骤：依次遍历所述点的Cell信息；

查找步骤:查找存储属性信息的Cell，其key为属性ID，value为属性值；

属性ID判断步骤：判断所述属性ID与属性Key的ID是否相等，若相等则取出所述value的值，即为所述属性Key的属性值；