[发明专利]基于概率对访问频率计数的缓存数据热度管理方法及系统

说明书

本发明提供一种基于概率对访问频率计数的缓存数据热度管理方法及系统，所述方法：S1.设置缓存中数据以数据块为单位进行存储，并在数据块中设置热度统计数据结构，所述热度统计数据结构包括访问时间记录位和访问频率记录位；S2.缓存中数据块被访问时，记录数据块本次访问时间，基于概率对数据块访问频率进行计数，并更新热度统计数据结构中数据块访问频率和访问时间；S3.当有缓存请求时，判断缓存剩余空间是否达到设定阈值，并在缓存空间达到设定阈值时，从缓存中随机选取设定数量的数据块，再从选定的数据块中根据各自的访问频率和访问时间进行惰性衰减，根据惰性衰减结果从选定数据块中删除数据块，直至缓存剩余空间大于设定阈值。

技术领域

本发明属于存储缓存管理技术领域，具体涉及一种基于概率对访问频率计数的缓存数据热度管理方法及系统。

背景技术

FIFO，是First In First out的缩写，先进先出，淘汰最先近来的页面，新进来的页面最迟被淘汰，完全符合队列。

LRU，是Least recently used的缩写，最近最少使用，淘汰最近不使用的页面。

LFU，是Least frequently used的缩写，最近使用次数最少，淘汰使用次数最少的页面。

在互联网和移动互联网两波浪潮的推动下，存储技术有了飞速发展。移动互联网用户在过去十年增长了10倍，用户的增长带动了数据量的指数级增长，因为激烈的市场竞争，企业和用户对应用程序的响应性能要求越来越高，在完美应对庞大的用户规模和海量数据集的同时保证优秀的产品体验，是存储系统面临的挑战。

缓存是指用于存储数据的硬件或软件组成部分，以使得后续更快的访问相应的数据。缓存是存储系统中的重要组件，主要解决高并发，大数据场景下，热点数据的访问性能问题，提供高性能的数据快速访问。

缓存调度算法是缓存实现的重要机制，主要是指：先分配一定的页面空间，使用页面的时候首先去查询空间是否有该页面的缓存，如果有的话直接拿出来，如果没有的话先查询，如果页面空间没有满的时候，使用新页面的时候，就释放旧的页面空间，把新页面缓存起来，以便下次使用同样的页面的时候方便调用。在实际场景中因为实现的过程以及淘汰旧页面的机制不同，所以会有不同缓存调度方法，就常见的就是FIFO，LRU，LFU缓存过期策略。

FIFO按照“先进先出”的原理淘汰数据，正好符合队列的特性，数据结构上使用队列Queue来实现。

LRU算法根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。

LFU算法根据数据的历史访问频率来淘汰数据，其核心思想是“如果数据过去被访问多次，那么将来被访问的频率也更高”。

单纯使用上述任何一种缓存调度方法都无法满足存储资源有限，而存储需求激增的现状。

此为现有技术的不足，因此，针对现有技术中的上述缺陷，提供一种基于概率对访问频率计数的缓存数据热度管理方法及系统，是非常有必要的。

发明内容

针对现有技术的上述缓存调度方法都无法满足存储资源有限，而存储需求激增现状的缺陷，本发明提供一种基于概率对访问频率计数的缓存数据热度管理方法及系统，以解决上述技术问题。

第一方面，本发明提供一种基于概率对访问频率计数的缓存数据热度管理方法，包括如下步骤：

S1.设置缓存中数据以数据块为单位进行存储，并在数据块中设置热度统计数据结构，所述热度统计数据结构包括访问时间记录位和访问频率记录位；

S2.缓存中数据块被访问时，记录数据块本次访问时间，基于概率对数据块访问频率进行计数，并更新热度统计数据结构中数据块访问频率和访问时间；