[发明专利]一种基于热度感知的内存纠删码分布方法

说明书

本发明公开了一种基于热度感知的内存纠删码分布方法，属于计算机存储技术领域。本发明方法根据数据分块访问频次的变化，定期执行下述步骤，首先对内存中的数据分块进行热度等级的划分，访问频次越高的数据分块热度等级越高；其次，对热度等级由低变高的数据分块进行副本备份，提高访问的并行性；之后，针对热度等级由高变低的数据分块进行副本删除或者替换，节约内存空间，提高利用率。本发明方法利用访问频度感知策略，动态调整内存数据分块，对低访问频度数据采用纠删码存储方案，对高访问频度数据采用副本方案，兼顾系统的内存利用率和访问并发性，优化系统的负载均衡。

技术领域

本发明属于计算机存储技术领域，更具体地，涉及一种基于热度感知的内存纠删码分布方法。

背景技术

数据量暴增的信息时代，内存存储已经成为许多数据密集型应用程序的关键组件，如OLTP和OLAP。内存容量和带宽每三年大约翻一倍，而其价格每五年降低十倍，从而，越来越多商业应用，能负担得起DRAM产品的开销，内存存储系统已逐步尝试将主要数据存放于内存中，用来支持可伸缩和低延迟的数据访问。

由于DRAM的易失性，内存存储系统在断电和系统崩溃的情况下，会引起内存数据的临时性丢失。针对此现象，通常采用冗余策略来提高内存数据的可用性。现有冗余解决方案主要包括副本和纠删码两类。副本方式既可以保证数据冗余，也能够在一定程度上可以提高访问并行性性能，但副本方式具有空间开销大的缺点，例如，三副本方式会占用数据三倍的内存空间。相较于副本，纠删码方式可以以更少内存空间来达到同等水平的容错。然而，纠删码在数据更新和故障恢复方面会带来较高的带宽开销，同时访问并行性较差。通过冗余编码计算后的数据分块组分布，可以通过随机选择节点分发，或者根据系统当前各节点的负载选择负载较低的节点分发等手段，但是整体是静态分布，即存储在节点中的数据分块以后不会在移动。

现有的内存纠删码分布方法主要存在以下问题，内存利用率和访问并发性作为衡量内存存储冗余方案的重要指标，二者不可同时兼顾；磁盘文件和内存数据的访问频次存在严重倾斜，并且数据分块的访问频次随着时间变化将引起节点负载的变化，由于访问倾斜的存在，导致节点负载不均衡，造成硬件资源的浪费以及访问性能退化和吞吐量降低。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于热度感知的内存纠删码分布方法，其目的在于对内存中的数据分块进行热度等级的划分，访问频次越高的数据分块热度等级越高；其次，对热度等级由低变高的数据分块进行副本备份，提高访问的并行性；之后，针对热度等级由高变低的数据分块进行副本删除或者替换，节约内存空间，提高利用率，同时兼顾内存利用率和访问并发性，达到平衡，并解决随着时间变化磁盘文件和内存数据的访问频次严重倾斜所导致的节点负载不均衡问题。

为实现上述目的，本发明提供了一种基于热度感知的内存纠删码分布方法，所述方法采用纠删码数据冗余技术存储内存中的数据；同时对内存中的数据分块按访问热度进行动态划分，具体分为3个等级：0、1和2，热度等级更新为2的数据分块采用副本数据冗余技术，热度等级更新为1的数据分块采用纠删码数据冗余技术，热度等级更新为0的数据分块从内存中替换出去。

进一步地，所述热度等级更新为2的数据分块采用副本数据冗余技术具体为：当数据分块的热度等级由1升为2时，选择负载最低的节点增加该数据分块的副本数据分块。

进一步地，所述热度等级更新为1的数据分块采用纠删码数据冗余技术具体为：当数据分块的热度等级由2降为1时，选择负载最重的节点删除该数据分块的副本数据分块。

进一步地，所述热度等级更新为0的数据分块从内存中替换出去具体为：当数据分块的热度等级由1或2降为0时，将该数据分块替换出内存，替换进内存的新数据分块从负载最重的节点中选取。

进一步地，所述新数据分块的热度等级为1。

进一步地，所述数据分块的热度等级由2降为0时，删除该数据分块的所有副本数据分块。