[发明专利]一种基于位图的MBF数据索引结构对数据快速检索的方法

摘要

本发明公开了一种基于位图的MBF数据索引结构对数据快速检索的方法，包括：B‑MBF数据索引结构的设计、在数据索引结构中插入数据、对插入数据之后的数据索引结构进行数据检索；B‑MBF数据索引结构包括一个MBF和一个字节数组Bitmap，MBF由一个BF和一个MA定位数组组成；BF用于判断要检索的数据名称是否在插入数据之后的数据索引结构中；MA是与BF具有映射关系的比特数组，用于判断要检索的数据名称在字节数组Bitmap中的位置；字节数组Bitmap用于存储要检索的数据名称所对应的地址偏移量。该结构可以利用一个哈希函数得到K次哈希映射值，因此利用该结构可以实现数据的快速插入及检索操作，能够满足百万级别数据处理速度的需求。

主权项

一种基于位图的MBF数据索引结构对数据快速检索的方法，其特征在于，包括：基于位图的MBF数据索引结构的设计、在所述数据索引结构中插入数据、对插入数据之后的数据索引结构进行数据检索；具体步骤如下：步骤一、设计基于位图的MBF数据索引结构：基于位图的MBF数据索引结构包括一个可定位型布隆滤波器MBF和一个字节数组Bitmap，其中，所述可定位型布隆滤波器MBF由一个通用型布隆滤波器和一个定位数组组成；其中，所述通用型布隆滤波器用于判断要检索的数据名称是否在所述插入数据之后的数据索引结构中；所述定位数组是与所述通用型布隆滤波器具有映射关系的比特数组，用于判断要检索的数据名称在字节数组Bitmap中的位置；所述字节数组Bitmap用于存储要检索的数据名称所对应的地址偏移量；步骤二、在步骤一所设计的基于位图的MBF数据索引结构中插入数据名称，每插入一个数据名称的过程包括：步骤2‑1、定位数组初始化：将定位数组中的所有比特位初始化为0；步骤2‑2、输入数据名称：将数据名称输入到上述的基于位图的MBF数据索引结构中；步骤2‑3、对该数据名称进行K次哈希编码：所述哈希函数选用CityHash256，同时，根据通用型布隆滤波器的大小来确定编码长度及编码次数K值；步骤2‑4、将K次哈希操作所映射的通用型布隆滤波器的比特位数值全部置为1：即如果哈希操作映射到通用型布隆滤波器的一个比特位，则该比特位置1，通过K次哈希操作后数据名称被插入到通用型布隆滤波器中；步骤2‑5、计算定位数组的数值：根据数据名称的K次哈希操作在通用型布隆滤波器中的映射值，计算得出定位数组的数值；步骤2‑6、计算该数据名称在字节数组Bitmap中的位置：根据步骤2‑5中得出的定位数组的数值计算该数据名称在字节数组Bitmap中的第几部分的第几槽；步骤2‑7、为该数据名称分配地址偏移量：根据步骤2‑6得到的该数据名称插入到所在部分的顺序为该数据名称标序号，该序号即为该数据名称在存储器中的地址偏移量，并将该地址偏移量存储在该数据名称所在的字节数组Bitmap的槽内；至此，完成了一个数据名称的插入操作；步骤三、数据检索，对一个数据名称检索的步骤如下：步骤3‑1、定位数组初始化：将定位数组中的所有比特位初始化为0；步骤3‑2、输入数据名称：将数据名称输入到上述的基于位图的MBF数据索引结构中；步骤3‑3、对该输入的数据名称进行K次哈希编码：采用CityHash256，并取步骤2‑3确定的编码长度及编码次数K值对该数据名称进行K次哈希编码；步骤3‑4、判断K次哈希操作所映射的通用型布隆滤波器的比特位数值是否全为1，若映射值全为1，则该输入的数据名称存在于基于位图的MBF数据索引结构中，并继续执行步骤3‑5，完成检索；否则，该输入的数据名称不存在于该基于位图的MBF数据索引结构中，终止检索；步骤3‑5、计算定位数组的数值：根据该输入的数据名称的K次哈希操作在通用型布隆滤波器中的映射值，计算得到定位数组的数值；步骤3‑6、计算该输入的数据名称在字节数组Bitmap中的位置：根据定位数组的数值计算该输入的数据名称在字节数组Bitmap中的具体位置，即在字节数组Bitmap中的第几部分的第几个槽；步骤3‑7、输出检索结果：读取与该输入的数据名称所对应的字节数组Bitmap中具体位置所存储的地址偏移量，该地址偏移量即为检索结果。