[发明专利]一种分布式存储系统中海量数据的冷热判断方法

权利要求书

1.一种分布式存储系统中海量数据的冷热判断方法，其特征在于，包括以下步骤：

步骤1，构建一个分布式存储系统，并确定该分布式系统的数据访问方式；

步骤2，在内存中申请一段连续空间作为散列表，用以记录该分布式系统的数据访问情况，一共采用V个散列表，其中负责记录当前数据访问信息的散列表CHT共有M位，每一位大小都为Vbits，占用的空间大小为M×V bits；

步骤3，选取K个均匀的哈希函数为Data ID进行散列；

步骤4，将步骤3中的哈希结果映射到当前版本散列表的对应位置上，用于统计映射到这一位的数据被访问的总次数；

步骤5，经过访问周期T后，执行散列表切换；

步骤6，进行数据冷热判断。

2.根据权利要求1所述的一种分布式存储系统中海量数据的冷热判断方法，其特征在于，步骤1中，根据文件存储系统中的路径名+文件名，或块存储系统中的数据块+偏移量，或对象存储系统中的存储池+对象名来确定文件访问的Data ID；根据Data ID，唯一确定某一数据；在分布式存储系统运行时，若有数据访问发生，则根据Data ID记录本次数据访问。

3.根据权利要求1所述的一种分布式存储系统中海量数据的冷热判断方法，其特征在于，步骤2中，当前版本散列表CHT的大小为V，其他版本的散列表每一位的大小依次递减；即多版本散列表中每一个散列表的大小依次为V，V-1，V-2…1，总体需要大小的内存空间。

4.根据权利要求1所述的一种分布式存储系统中海量数据的冷热判断方法，其特征在于，步骤4中，步骤3产生的K个结果在散列表中对应的K位均增加1；若有某一位的Vbits已经全部置为1，则这一位保持不变。

5.根据权利要求1所述的一种分布式存储系统中海量数据的冷热判断方法，其特征在于，步骤5中，采用轮询方式选定下一个散列表，新的CHT需要将其每一位的大小置为Vbits，并将其内容全部置为0；其他散列表则需要进行降级，将其首位全部置为0，以降低其权重。

6.根据权利要求1所述的一种分布式存储系统中海量数据的冷热判断方法，其特征在于，步骤6中，首先根据数据的Data ID进行K次哈希计算，再根据计算的结果访问散列表对应的K个位置，将这K个位置的访问记录转换为整形，并选出其中的最小值作为数据在该时间段内的访问频度；使用该方法依次得出数据在其他版本的散列表中的访问频度，然后加和，计算出数据的热度H；最后将H与设定的阈值S比较，如果大于S，则认为该数据是热数据，否则视为冷数据。