[发明专利]一种基于MapReduce的大规模图数据关键词搜索方法

说明书

技术领域

本发明涉及一种基于MapReduce的大规模图数据关键词搜索方法。

背景技术

近年来，大规模图数据的关键词搜索问题已经在学术界和工业界都引起了广泛的关注。目前，该问题被已经被认为是图数据库领域最基本的问题之一，并且学术界对这一问题的研究取得了很好的进展。

在学术界，被广泛使用的关键词搜索语义主要有三种：连通树语义(connected tree semantics[2]、不同根语义(distinct root semantics)[3]，以及不同核语义(distinct core semantics)[4]。在上述三种语义中，连通树语义(the connected tree semantics)会产生大量的子图；不同根语义(the distinct root semantics)会产生一个包含查询关键词集的极大子图；不同核语义(the distinct core semantics)是前面两者的折中，其产生的结果子图大小适中，更能反映用户对图数据关键词检索的需求，这一语义也是目前公认较好的关键词搜索语义。

所述的不同核语义能够很好地解决图数据中的关键词搜索问题。然而，基于这一语义，现有的关键词搜索方法主要都是基于内存的序贯算法，显然不适用于处理大规模图数据。也即，现有的方法必须要求整个图数据存储在内存中，而且现有的方法都不能较好地并行处理图数据的关键词搜索问题，因而不适用于处理大规模图数据的关键词搜索。然而，在很多实际应用中，图数据的规模日趋庞大。例如：在Facebook的社交图谱数据中，如果用节点代表每个用户，边代表用户间的朋友关系。那么，在这个图数据中将有超过8亿个节点和超过520亿条边。对于基于内存的序贯算法来说，这将是一个灾难。

发明内容

本发明提供一种基于MapReduce的大规模图数据关键词搜索方法，该方法首次提出了基于分布式编程框架MapReduce来处理大规模图数据的关键词搜索，解决了所述的背景技术无法适用大规模图数据的问题。

本发明通过以下技术手段实现：

一种基于MapReduce的大规模图数据关键词搜索方法，包含以下步骤：

S1、关键词节点扩展：使用两个MapReduce任务迭代进行关键词扩展；所述MapReduce 1合并文件dfile和文件sfile中的数据；所述的MapReduce 2对MapReduce1产生的节点所有可能的扩展方式，保留其中路径距离小于Rmax并且路径最短的点对；

S2、中心节点扩展：使用1个MapReduce任务产生包含所有关键词的星型集合stars；

S3、社区生成阶段：使用1个MapReduce任务生成包含所有查询关键词的社区。

其中，所述的文件kfile存储每个节点所包含的关键词，每个节点v∈V(G)都以v→key(v)的形式存储在键值对中。

其中，所述的文件sfile存储图的结构，其中，每条边(u,v)∈E(G)都以u→(v,we(u,v))的形式存储在键值对中，表示从节点u到节点v有一条权值为we(u,v)的边。

其中，还包含临时文件dfile来存储所有关键词/中心节点对的最短路径，存储形式为u→(v,k_i,dist(u,v))键值对，表示节点u可以在经过dist(u,v)的距离到达包含关键词k_i的节点v。

其中，MapReduce 1在关键词节点扩展的Map阶段，为dfile中所有的点对u→(v,k_i,dist(u,v))创建键值对并标记为关键词对(keyword-pair)；为sfile中所有的边u→(v,we(u,v))统一创建u→(v,φ,we(v,u))格式的键值对并标记为结构点对(structure-pair)；MapReduce 1在关键词节点扩展的Reduce阶段，具有相同key的关键词对和结构点对被分配到同一分组；对每一关键词对u→(v,k_i,dist(u,v))和每一结构点对u→(v,φ,we(v,u))，产生一个v′→(v,k_i,we(v′,u)+dist(u,v))键值对并输出到临时文件temp中。