[发明专利]数据关联性感知的纠删码内存替换方法、设备及内存系统

说明书

本发明公开了一种数据关联性感知的纠删码内存替换方法、设备及内存系统，属于计算机存储领域，包括：(1)按照读请求的顺序将数据分块加载进内存，并以副本方式存放；(2)若已执行的读请求数量number达到阈值K2，则进行垃圾回收，之后转入步骤(4)；否则，转入步骤(3)；(3)若number达到阈值K1，则进行纠删码归档，使相关联的数据分块位于同一个条带中，之后转入步骤(4)；否则，直接转入步骤(4)；(4)若用户请求已经执行完毕，则操作结束；否则，获取下一条未执行的读请求作为当前读请求，并转入步骤(1)。本发明通过增大同一条带中的数据分块被同时淘汰的概率，能够减少归档后由于替换而造成的更新开销，降低用户访问延迟。

技术领域

本发明属于计算机存储领域，更具体地，涉及一种数据关联性感知的纠删码内存替换方法、设备及内存系统。

背景技术

为了加快数据读取速度，降低用户访问延迟，越来越多的数据被存放到内存中。例如，科学计算为获取低延迟访问将产生的中间结果集放在内存中。而内存具有数据易失性的特点，在断电、系统崩溃等临时故障出现时内存中的数据会丢失，所以需要采用副本或纠删码来进行容错。副本容错方式简单高效，能够提高访问并行度，但空间利用率低，而纠删码在保证和副本同等容错前提下，其空间利用率高，但访问并行度低。为了保证集群内存的高容错性和高存储效率，对于内存中不同访问热度的数据(即：热数据、温数据、冷数据)需要使用不同的冗余方式进行存储，通常地，热数据采用副本机制，保证高访问性能；温数据采用纠删码机制存储，保证高存储效率；冷数据则持久化至磁盘，节省内存空间。

由于内存空间有限，为了提高内存利用率，当可用内存空间不足时，需要使用淘汰策略(如：LRU)将部分数据移出内存写回磁盘来回收内存空间，由于当前内存中对热数据采用副本存储，对冷数据块采用纠删码存储，所以淘汰的块可能由副本存储或在纠删码条带中存储，若数据块由副本存储，则可以直接将其写回磁盘并删除其在内存中的所有副本，若数据块位于纠删码条带中，则需要用内存中其他条带中的无需淘汰的数据块替换掉当前需淘汰数据块以保证条带的容错性。而纠删码条带中的替换相当于一个更新操作，不仅需要用新块替换需淘汰的块，还需要更新条带中的校验块，所以替换开销较大。

数据由副本到纠删码的转换过程称为纠删码归档(Erasure-coded Archival)。现有的纠删码归档方案都只关注于减少归档时的传输流量，没有考虑归档后由于内存空间不足而淘汰冷数据块造成的更新开销；现有的纠删码内存系统中的更新方案都针对于优化写请求引起的更新并不适用于优化替换引起的更新。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种数据关联性感知的纠删码内存替换法方法、设备及内存系统，其目的在于，通过增大同一条带中的数据分块被同时淘汰的概率，减少归档后由于替换而造成的更新开销，降低用户访问延迟。

为实现上述目的，按照本发明的第一方面，提供了一种数据关联性感知的纠删码内存替换方法，包括：

(1)按照当前读请求的顺序将数据分块加载进内存，并以副本方式存放；

(2)判断已执行的读请求数量是否达到垃圾回收阈值K2，若是，则进行垃圾回收，以淘汰内存中访问频度较低的数据分块，并在垃圾回收结束后，转入步骤(4)；否则，转入步骤(3)；

(3)判断已执行的读请求数量是否达到归档阈值K1，若是，则根据数据分块之间的关联性进行纠删码归档，以使得相关联的数据分块位于同一个条带中，并在纠删码归档结束后，转入步骤(4)；否则，直接转入步骤(4)；

(4)判断用户请求是否已经执行完毕，若是，则操作结束；否则，获取下一条未执行的读请求作为当前读请求，并转入步骤(1)；

其中，0K1K2。