[发明专利]Hadoop环境下多维索引结构OBF-Index的实现方法

摘要

本发明公开了一种Hadoop环境下多维索引结构OBF‑Index的实现方法，对数据集进行划分得到数据分片，对每个数据分片分别创建一个OBF索引对象并序列化为OBF索引文件进行存储，构建得到OBF‑Index；在需要使用数据集时，首先设置需要使用的数据集合A，然后分别读取每个数据分片的OBF索引文件并反序列化得到OBF索引对象，利用OBF索引对象查询数据集合A中的数据是否存在于该数据分片中，如果是，则将该数据分片传递给相应的Mapper，否则不作任何操作。本发明设计了一种多维索引结构OBF‑Index，可以高效地实现创建和查询，且能有效降低假阳率。

主权项

一种Hadoop环境下多维索引结构OBF‑Index的实现方法，其特征在于包括以下步骤：S1：对数据集进行划分得到数据分片；S2：对每个数据分片分别生成一个OBF索引文件并存储，构建得到OBF‑Index，生成OBF索引文件的具体方法为：首先对数据分片进行处理，如果是一维数据则不作任何操作，如果是多维数据，将其映射为一维数据；为数据分片初始化一个OBF索引对象，该OBF索引对象中每个位置的初始值为绝对大值，依次读取数据分片的一维数据中的第n个元素a_n，n＝1,2,…,N，将其插入OBF索引对象，插入方法为：根据K个哈希函数h_k计算得到其K个位置h_k(a_n)，记位置h_k(a_n)原有值为F⁰(h_k(a_n))，令第h_k(a_n)个位置的值F(h_k(a_n))＝min{k,F⁰(h_k(a_n))}；将得到的OBF索引对象序列化为OBF索引文件；S3：在需要使用数据集时，首先设置需要使用的数据集合A，然后分别读取每个数据分片的OBF索引文件并反序列化得到OBF索引对象，利用OBF索引对象查询数据集合A中的数据是否存在于该数据分片中，如果是，则将该数据分片传递给相应的Mapper，否则不作任何操作；查询方法为：记需要查询的数据为x，根据K个哈希函数h_k计算得到K个位置h_k(x)，记h_k(x)对应位置的原有值为F⁰(h_k(x))，如果所有k≥F⁰(h_k(x))均为真，则该数据存在该OBF索引对象对应的数据分片中，否则不存在。