[发明专利]一种面向海量数据检索的多级桶哈希索引方法

摘要

一种面向海量数据检索的多级桶哈希索引方法，涉及海量数据存储领域。其特征在于：(1)提供桶映射表，用于减小哈希索引文件在磁盘上的占用空间(2)哈希索引采用了多级桶，磁盘块的大小是扇区大小的整数倍，每个磁盘块有一个或多个基本桶，可以有块内溢出桶，具有全局溢出桶(3)提供索引文件的数据缓存结构，提供了数据缓存映射表，数据缓存的管理使用缓存映射表上的双向链表实现。本发明通过映射表减小索引文件在磁盘上的占用空间，磁盘块是磁盘扇区大小的整数倍，并通过数据缓存结构减少了磁盘读写次数，提高了内存利用效率和数据的检索效率。

主权项

一种面向海量数据检索的多级桶哈希索引方法，其特征在于，方法包括哈希索引的创建方法和检索方法，哈希索引的创建方法如下：1)对创建索引的信息确定一个关键字；2)在计算机内存中建立索引桶的映射表，即关键字的哈希值h和索引桶在磁盘上的存储位置c；3)判断索引桶是否在磁盘上，即判断存储位置的值是否等于8个字节的最大值；如果等于8个字节的最大值，说明磁盘上没有已存储的索引桶，继续步骤4)；如果不等于8个字节的最大值，说明磁盘上已有已存储的索引桶，转步骤(7)；4)磁盘上没有已存储的索引桶时，在磁盘上创建一个新的磁盘块d并存储信息，建立一个新的索引桶，确定新的索引桶在磁盘块d内的序号；5)更新映射表，使c＝d；6)更新磁盘，反复存储；7)磁盘上已有已存储的索引桶时，确定该索引桶在磁盘块内的序号；8)判断该索引桶是否有足够的空间存储新的关键字，如果有足够的空间，转步骤(6)；如果没有足够的空间，关键字在该索引桶溢出，存储到磁盘块内溢出桶；如果磁盘块内溢出桶也没有足够的空间，关键字在磁盘块内溢出桶溢出，存储到全局溢出桶。哈希索引的检索方法如下：1)对待检索索引的信息确定一个关键字；2)读映射表；3)判断待检索索引桶是否在磁盘上，即判断存储位置的值是否等于8个字节的最大值；如果等于8个字节的最大值，说明磁盘上没有已存储的待检索索引桶，检索结束；如果不等于8个字节的最大值，说明磁盘上已有已存储的待检索索引桶，转步骤(4)；4)如果不等于8个字节的最大值，从映射表内获取待检索索引桶号和该索引桶所在磁盘块的磁盘块号；5)桶内检索，如果检索到，则检索结束；如果检索不到，在磁盘块内溢出桶检索；6)在磁盘块内溢出桶检索到，检索结束；如果在磁盘块内溢出桶检索不到，则在全局溢出桶检索，检索结束。