[发明专利]一种分布式存储器哈希索引方法及系统

说明书

本发明属于数据库、分布式信息处理技术领域，尤其涉及一种分布式存储器哈希索引方法及系统。在本发明中，将哈希表的地址范围映射到多个存储器节点中，主节点计算键key的哈希值，根据计算得到的键key的哈希值获取存储器节点编号；然后根据存储器节点编号与存储器节点IP的映射关系查找到对应的存储器节点地址，对存储器节点地址对应存储器节点进行写入、读取、或删除操作，由于通过多个存储器节点扩充了存储器容量，同时通过基于键值（key‑value）分布式哈希查找，提高了数据库系统的读写性能。

技术领域

本发明属于数据库、分布式信息处理技术领域，尤其涉及一种分布式存储器哈希索引方法及系统。

背景技术

在科技快速发展的今天，社会各个领域中的需要统计的数据都飞速增长，海量数据的记录、查找为计算机技术带来新的发展方向，提供新的技术课题。传统基于磁盘的哈希表，每一次磁盘I/O都要耗费大量的时间，很难满足现代交易系统（如股票等）对实时回应时间的要求。此外对于海量数据，单机节点由于存储器容量的限制无法将全部索引保存在内存中。

发明内容

本发明的目的在于提供一种基于多存储节点以及key-value的分布式存储器哈希索引方法，旨在解决现有的磁盘哈希表I/O耗时长以及单机节点由于存储器容量的限制无法将全部索引保存在内存中的问题。

本发明是这样实现的，一种分布式存储器哈希索引方法，包括：

将哈希表的地址范围映射到多个存储器节点中；

主节点计算键key的哈希值，根据计算得到的键key的哈希值获取存储器节点编号；

根据存储器节点编号与存储器节点IP的映射关系查找到对应的存储器节点地址，所述存储器节点编号与存储器节点IP的映射关系存储在路由表中，所述路由表存储在主节点中；

对所述存储器节点地址对应存储器节点进行写入、读取、或删除操作。

进一步的，所述的根据计算得到的键值的哈希值获取节点编号，具体为：

将计算得到的key的哈希值的前m位作为节点编号，所述m为存储器节点的个数。

进一步的，所述方法还包括：

磁盘节点通过基于磁盘的哈希表保存存储器节点中的哈希表的镜像，对磁盘节点进行写入或删除操作。

本发明还提供了一种分布式存储器哈希索引系统，包括：映射模块、计算模块、第一获取模块、第一查找模块、写入模块、读取模块、删除模块；

所述映射模块，用于将哈希表的地址范围映射到多个存储器节点中；

所述计算模块，用于主节点计算键key的哈希值；

所述第一获取模块，用于根据计算得到的键key的哈希值获取存储器节点编号；

所述第一查找模块，用于根据存储器节点编号与存储器节点IP的映射关系查找到对应的存储器节点地址，所述存储器节点编号与存储器节点IP的映射关系存储在路由表中，所述路由表存储在主节点中；

所述写入模块，用于对所述存储器节点地址对应存储器节点进行写入操作；

所述读取模块，用于对所述存储器节点地址对应存储器节点进行读取操作；

所述删除模块，用于对所述存储器节点地址对应存储器节点进行删除操作。

进一步的，所述第一获取模块还包括：

第一获取子模块，用于将计算得到的key的哈希值的前m位作为节点编号，所述m为存储器节点的个数。

进一步的，所述系统还包括：存储模块，用于磁盘节点通过基于磁盘的哈希表保存存储器节点中的哈希表的镜像；