[发明专利]海量数据存储和检索方法、装置、计算机设备及存储介质

权利要求书

1.一种海量数据存储和检索方法，其特征在于，包括：

对数据的关键字段进行hash计算，并将计算得到的hash值作为第一key值；

对数据的关键字段进行截取，并将截取得到的截取值作为第二key值；

对数据的关键字段进行拼接，并将拼接得到的拼接值作为第三key值；

对数据的关键字段进行取模，并将取模得到的取模值作为第四key值；

将所述第一key值、第二key值、第三key值和第四key值中的一个作为最终key值或者将所述第一key值、第二key值、第三key值和第四key值中的至少两个进行拼接作为最终key值；且所述最终key值中至少包括所述第一key值；

根据所述最终key值将数据存储至相应节点的服务器中；

当进行检索时，根据所述最终key值在相应的服务器中查找对应的数据；

所述对数据的关键字段进行hash计算，并将计算得到的hash值作为第一key值包括：

对数据的不同关键字段进行hash计算后，得到多个hash值，并截取各hash值中的一段或者多段并组合得到第四计算结果；截取的规则为：为不同关键字段设置不同的等级，对于等级高的关键字段，则从对应hash值中截取更多的位数，对于等级低的关键字段，则从对应hash值中截取更少的位数；

对得到的第四计算结果进行位数对齐，使第四计算结果的位数达到标准位数；位数对齐包括删除或者增加，其中，删除的规则是：当总的待删除的位数大于或等于hash值个数时，则对每个hash值进行位数删除，并且删除的位数相同，在仍有待删除的位数剩余时，则按照关键字段等级从低到高依次删除对应hash值中的位数，若关键字段等级相同，则随机删除对应hash值中的位数，当总的待删除的位数小于hash值个数时，则直接按照对应关键字段等级从低到高依次删除hash值中的位数，若关键字段等级相同，则随机删除对应hash值中的位数；增加的规则是：当总的待增加的位数大于或等于hash值个数时，则对每个hash值进行位数增加，并且增加的位数相同，在仍有待增加的位数剩余时，则按照对应关键字段等级从高到低依次增加hash值中的位数，若关键字段等级相同，则随机增加对应hash值中的位数；当总的待增加的位数小于hash值个数时，则直接按照对应关键字段等级从高到低依次增加hash值中的位数，若关键字段等级相同，则随机增加对应hash值中的位数；另外，在进行增加时，优先从第四计算结果中各hash值的末尾开始向前增加；

将所述第四计算结果作为第一key值。

2.根据权利要求1所述的海量数据存储和检索方法，其特征在于，所述根据所述最终key值将数据存储至相应节点的服务器中包括：

获取最终key值中字符；

根据所述字符确定与之匹配的服务器；

将所述数据存储至相应节点的服务器。

3.根据权利要求1所述的海量数据存储和检索方法，其特征在于，所述当进行检索时，根据所述最终key值在相应的服务器中查找对应的数据包括：

接收指定的关键字段以及指定的目标字段范围；

根据所述指定的关键字段以及指定的目标字段范围确定最终key值范围；

根据所述最终key值范围从服务器中查找相应范围的数据。

4.根据权利要求2所述的海量数据存储和检索方法，其特征在于，所述获取最终key值中字符包括：

获取最终key值中首字符。

5.根据权利要求2所述的海量数据存储和检索方法，其特征在于，所述将所述数据存储至相应节点的服务器包括：

采用列式存储或者键值对的方式存储数据。

6.根据权利要求1所述的海量数据存储和检索方法，其特征在于，所述hash计算采用murmurhash3或MD5hash算法。