[发明专利]标识信息分配方法、系统及存储设备

说明书

本申请提供一种标识信息分配方法、系统以及存储设备，包括接收并切分标识信息，以生成第一比特串和第二比特串，且所述第一比特串具有与桶号相同比特长度，再取得第二比特串的哈希值，且从第一比特位开始，从哈希值中截取具有与桶号相同比特长度的第三比特串，在针对第一比特串和第三比特串执行异或运算，据以将第二比特串分配至具有与异或运算结果相同的桶号的桶内存储。通过本申请能够解决信息冗余存储的问题，节省了存储空间并可达到各桶平衡存储的目的。

技术领域

本申请实施例涉及一种信息分配存储技术，尤指一种标识信息分配方法、系统及存储设备。

背景技术

在很多大数据技术场景中，用户ID往往会被尽量均匀的分到不同的桶中去存储，以方便后续的并行计算。目前所采用的分配方法主要包括：首先,计算用户ID的哈希(hash)值，按照桶的数量对所计算出的哈希值进行模运算，并将运算结果作为相应的桶号，然后把所述用户id放入对应桶号的桶内进行存储，但是这种分配方法的缺点在于会存在一定的信息冗余，导致计算机存储空间的极大浪费。

具体而言，如图1所示，在目前分桶技术中，桶内所存储的是完整的用户ID，如上所述，由于“桶号”是由用户ID经过计算而得出，此相当于桶号信息在用户ID中已经存储了一次，而当包含有桶号信息的用户ID被存储在桶内时，即相当于桶号信息又被重复存储了一次，此造成了计算机内存以及磁盘的空间浪费。

有鉴于此，如何克服现有分桶存储技术中所存在的信息冗余存储的技术问题，即为本案待解决的技术课题。

发明内容

鉴于上述问题，本申请的主要目的在于提供一种本发明提出了一种标识信息分配方法、系统以及存储设备，可以消除信息的冗余存储，节省了计算机的资源占用。

本申请的主要目的在于提供一种本发明提出了一种标识信息分配方法、系统以及存储设备，可以达到各分桶平衡存储的技术功效。

本申请的一实施例提供一种标识信息分配方法，用于将标识信息分配到不同的桶内，其中，各所述桶分别具有相应的桶号，且所述桶号具有第一比特长度，所述方法包括：获得所述标识信息，所述标识信息具有大于所述第一比特长度的第二比特长度；切分所述标识信息，以生成第一比特串与第二比特串，其中，所述第一比特串具有所述第一比特长度；对所述第二比特串执行哈希运算，以生成哈希值；由所述哈希值的第一比特位开始，从所述哈希值中截取具有所述第一比特长度的比特串，以生成第三比特串；针对所述第一比特串与所述第三比特串执行逐比特异或运算，并输出运算结果；以及将所述第二比特串分配存储于具有与所述运算结果相同的所述桶号的所述桶内。

于本申请的实施例中，所述方法还包括所述标识信息的还原步骤，其包括：提取所述桶的所述桶号与存储于所述桶内的所述第二比特串；对所述第二比特串执行哈希运算，以生成所述哈希值；由所述哈希值的第一比特位开始，从所述哈希值中截取具有所述第一比特长度的比特串，以生成所述第三比特串；针对所述桶号与所述第三比特串执行逐比特异或运算以还原出所述第一比特串；以及拼接所述第一比特串与所述第二比特串而得到所述标识信息。

于本申请的实施例中，所述方法适用于数据管理系统，所述数据管理系统包括HDFS、Redis、或Hbase中的任一者。

于本申请的实施例中，所述方法适用于DAS网络存储架构、NAS网络存储架构、或SAN网络存储架构中的任一者。