[发明专利]Hadoop环境下多维索引结构OBF-Index的实现方法

说明书

本发明公开了一种Hadoop环境下多维索引结构OBF‑Index的实现方法，对数据集进行划分得到数据分片，对每个数据分片分别创建一个OBF索引对象并序列化为OBF索引文件进行存储，构建得到OBF‑Index；在需要使用数据集时，首先设置需要使用的数据集合A，然后分别读取每个数据分片的OBF索引文件并反序列化得到OBF索引对象，利用OBF索引对象查询数据集合A中的数据是否存在于该数据分片中，如果是，则将该数据分片传递给相应的Mapper，否则不作任何操作。本发明设计了一种多维索引结构OBF‑Index，可以高效地实现创建和查询，且能有效降低假阳率。

技术领域

本发明属于云存储技术领域，更为具体地讲，涉及一种Hadoop环境下多维索引结构OBF-Index的实现方法。

背景技术

我们正生活在一个大数据时代，网络上各种类型的日志(如点击日志)、用户发布的内容(如Twitter上用户发布的推文)、图数据(如社交网络)等都是海量数据的来源。2008年Google每天的数据量已经超过20PB，2016年阿里每天需要处理100PB以上数据、每天有100万以上的大数据任务，根本无法用单机的方式来实现这种数据量的数据处理。近些年，分布式计算、网格计算、云计算技术也日渐成熟。早在2003年和2004年Google便发表了两篇文章，向人们展示了他们为了应对海量数据处理的两项新技术GFS(Google File System)和MapReduce。

Hadoop是Google MapReduce的一种开源实现，因为其稳定性、可扩展性以及低成本性，大到Facebook、Yahoo、阿里、百度，小到几十人的小公司或实验室都对其青睐有加。从Hadoop诞生之日起，在这十年时间里，已经从Hadoop1.0发展到现在的YARN(Hadoop2.0)，以及Hive、HBase、ZooKeeper等配套设施，一个庞大的Hadoop生态系统正在越来越完善。

以Hadoop HDFS(Hadoop分布式文件系统)为代表的云存储系统也逐渐成为大数据处理必不可少的部分，被广泛应用到各种网络应用中，如搜索引擎、社交网络、电子商务等。云存储系统相对于传统的数据存储，正如Hadoop可以通过增加廉价机器来扩充集群一样，扩展性更强，方便存储TB、PB或更大级别的数据；并且云存储系统中，一般都采用数据的冗余备份策略来保证数据的高可用性。诸如Google最早的GFS、Facebook的Cassandra和Amazon的Dynamo等都是非常优秀的此类存储系统。

这类云存储系统基本都采用基于DHT(分布式哈希表)的Key-Value模型，通过Key(键)和Value(值)之间的映射关系进行数据的存储和查找。这种模型比较适合单点查询，即给定一个要查询的Key，全局扫描得到相应的Value。但是在Hadoop中，因为没有原生支持索引结构，在数据量过于庞大的时候MapReduce任务效率低下，并且对于范围查找、多维查找非常不便。

在文献“Tan Z L,Zhou K R,Zhang H,et al.BF-MapReduce:A BloomFilterBased Efficient Lightweight Search[C]//IEEE Conference on CollaborationandInternet Computing.IEEE,2015:125-129.”中提出了一种基于Bloom Filter的高效轻量级索引结构(BF-MapReduce)，通过使用此辅助索引，可以快速跳过许多无用的输入分片，避免遍历扫描整个数据集，从而提高Map阶段的效率。但是，因为Bloom Filter这种概率性的数据结构会随着插入数据的越来越多，假阳率也越来越大。

发明内容

本发明的目的在于克服现有技术的不足，提供一种Hadoop环境下多维索引结构OBF-Index的实现方法，在高效构建索引和查询的同时，能有效降低假阳率。

为实现上述发明目的，本发明Hadoop环境下多维索引结构OBF-Index的实现方法包括以下步骤：