[发明专利]感知热度与风险的纠删码内存恢复方法、设备及内存系统

说明书

本发明公开了一种感知热度与风险的纠删码内存恢复方法、设备及内存系统，属于计算机存储技术领域，包括：在发生节点故障时，统计预设时间窗口内各分块的访问频次，以设置各分块热度等级，访问频次越多，热度等级越高；统计各条带内的失效的数据分块数和总的失效分块数，以设置各条带的风险等级；失效分块数越多，风险等级越高；总的失效分块数相同的情况下，失效的数据分块数越多，风险等级越高；将条带的风险等级作为其中分块的风险等级，结合热度等级和风险等级设置各失效分块的恢复优先级，热度等级越高、风险等级越高，恢复优先级越高；按照恢复优先级从高到低的顺序依次对失效分块进行恢复。本发明能够提高数据的可靠性、可用性和可服务性。

技术领域

本发明属于计算机存储技术领域，更具体地，涉及一种感知热度与风险的纠删码恢复方法、设备及内存系统。

背景技术

信息化时代正在产生海量的数据，为了存储和计算这些数据，一般采用分布式集群聚集多个节点的存储和处理能力，来完成数据的处理。而分布式存储用内存(DRAM)来作为存储的媒介。而内存是一种易失性存储器件，一旦内存节点发生断电，系统崩溃等情况，内存节点中存储的内存数据就会丢失，造成无法挽回的损失。所以一般使用副本和纠删码这两种典型的冗余机制，在一定程度上降低内存数据丢失带来的损失。而相较于副本，纠删码保证相同冗余度前提下，具有更高的存储效率。

但是纠删码会带来昂贵的重构开销。以RS(k+r,k)纠删码为例，当一个数据分块发生故障或发生错误，需要同一条带上的k个可用数据分块进行恢复重构出该块，相较于副本的网络传输量，纠删码为其k倍，因此导致重构速度变慢，重构时间变长，在重构时间窗口内，数据丢失的可能性增大，造成数据永久丢失的风险随之变大。因此长重构时间是分布式存储大规模使用纠删码的主要问题。

现有的内存纠删码重构方法主要以下的问题：基于数据的可恢复性考虑减少重构时候需要传输的数据量或读取的数据量，但未考虑到集群中单节点故障的延迟恢复以及多节点并发故障会导致数据的不可恢复；以及针对内存数据的访问频次的倾斜没有考虑相对应的数据恢复顺序。总的来说，现有的内存纠删码重构方法，在数据的可靠性、可用性及可服务性方面还有待提高。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种感知热度与风险的纠删码内存恢复方法、设备及内存系统，其目的在于，在发生故障时，使得访问频次较高以及更易发生数据不可恢复的高风险失效分块优先得到恢复，从而提高数据的可靠性、可用性和可服务性。

为实现上述目的，按照本发明的第一方面，提供了一种感知热度与风险的纠删码内存恢复方法，包括：

在发生节点故障时，统计预设时间窗口内各分块的访问频次，并根据访问频次设置各分块热度等级，访问频次越多，对应的热度等级越高；

统计各条带内的失效的数据分块数和总的失效分块数，并根据统计结果设置各条带的风险等级；一个条带内总的失效分块数越多，其风险等级越高；总的失效分块数相同的情况下，条带内失效的数据分块数越多，其风险等级越高；

将分块所属条带的风险等级作为分块的风险等级，结合各失效分块的热度等级和风险等级设置各失效分块的恢复优先级，失效分块的热度等级越高、风险等级越高，其恢复优先级越高；

按照恢复优先级从高到低的顺序对所有的失效分块进行排序，并按照排序后的顺序对依次对失效分块进行恢复；

其中，分块为数据分块或校验分块。

本发明根据内存中数据的访问偏斜来划分热度等级，并根据条带内失效的数据分块数和总的失效分块数来划分风险等级，并综合热度等级和风险等级确定各失效分块的恢复优先级，具体地，热度等级越高、风险等级越高，则相应的恢复优先级越高，该失效分块也会优先得到恢复，由此能够在多节点发生故障时，使得访问频次较高以及更易发生数据不可恢复的高风险失效分块首先得到恢复，从而提高数据的可靠性、可用性和可服务性。