[发明专利]一种分布式存储系统中海量数据的冷热判断方法

摘要

本发明公开了一种分布式存储系统中数据冷热的判断方法，采用多版本的哈希表来统计数据的访问频度，并据此确定数据的冷热状况。该方法主要包括：选取合适数量的哈希函数，并在每次数据访问时将访问的索引通过这些哈希函数计算出对应的哈希结果，然后增加这些哈希结果在当前版本哈希表中对应位置的值；经过多次访问后，通过切换当前版本的哈希表以及移除所有版本哈希表的首位来进行衰减，以降低老旧信息的影响；最后通过统计所有版本哈希表中的数据访问信息来确定数据的冷热。相对于该领域其他方法，该方法可以在使用相同大小的内存空间时，提供更高的冷热数据判断准确率，有利于冷热数据的分别处理，从而提高系统性能。

主权项

1.一种分布式存储系统中海量数据的冷热判断方法，其特征在于，包括以下步骤：步骤1，构建一个分布式存储系统，并确定该分布式系统的数据访问方式；步骤2，在内存中申请一段连续空间作为散列表，用以记录该分布式系统的数据访问情况，一共采用V个散列表，其中负责记录当前数据访问信息的散列表CHT共有M位，每一位大小都为Vbits，占用的空间大小为M×V bits；步骤3，选取K个均匀的哈希函数为Data ID进行散列；步骤4，将步骤3中的哈希结果映射到当前版本散列表的对应位置上，用于统计映射到这一位的数据被访问的总次数；步骤5，经过访问周期T后，执行散列表切换；步骤6，进行数据冷热判断。