[发明专利]一种基于被访问次数的数据缓存方法和装置

说明书

本发明公开了一种基于被访问次数的数据缓存方法和装置，包括如下步骤：S1、获取每一个时间周期内，所有已缓存的数据的被访问次数；S2、对每个时间周期内的所有已缓存的数据，根据该数据的被访问次数将该数据划分至不同阶层；S3、根据该数据在当前时间周期的访问次数、上一时间周期内数据的被访问次数、当前时间周期内数据的被访问次数以及上一时间周期内数据的被访问次数，对数据的缓存时长进行延长或缩短操作。由于采用了上述技术方案，与现有技术相比，本发明根据数据的被访问次数来延长或缩短该数据的缓存时长，不仅可以保证服务器的可用性，还能提高不同数据条件下的缓存命中率。

技术领域

本发明涉及数据处理领域，具体涉及一种基于被访问次数的数据缓存方法和装置。

背景技术

传统的缓存技术，一般是设置固定缓存时长，当时长失效时根据相应的淘汰算法移除缓存条目，从而用有限的缓存大小尽量缓存最大的数据。

缓存：凡是位于速度相差较大的两种硬件/服务之间，用于协调两者数据传输速度差异的结构，均可称之为缓存。回原：缓存没有数据时要向原服务器取数据。命中率：终端用户访问加速节点时，如果该节点有缓存住了要被访问的数据时就叫做命中，如果没有的话需要回原服务器取，就是没有命中，命中率等于命中数/(命中数+没有命中数)。

传统的缓存策略一般分为三种：LRU、LFU和ARC。LRU：Least RecentlyUsed，最近最少使用算法，优先淘汰未使用时间最长的条目；LFU：LeastFrequently Used，最不经常使用算法，优先淘汰使用频率最低的条目；ARC：Adaptive Replacement Cache，自适应缓存替换算法，由2个LRU组成，第一个，也就是L1，包含的条目是最近只被使用过一次的，而第二个LRU，也就是L2，包含的是最近被使用过两次的条目，L1放的是新的对象，而L2放的是常用的对象。

现有的这些缓存策略的缺点在于：固定缓存时长一般较短例如1-10分钟，当回原数据的服务器出现问题时会导致本身服务器不可用；其次，所有缓存都使用固定缓存时长，没有考虑长时间/短时间的热点数据访问，使得命中率没有达到较高水平。

发明内容

为解决背景技术中现有缓存策略无法保障服务器的可用性以及缓存命中率低的问题，本发明提供了一种基于被访问次数的数据缓存方法，具体技术方案如下。

一种基于被访问次数的数据缓存方法，所述方法包括如下步骤：

S1、获取每一个时间周期内，所有已缓存的数据的被访问次数；

S2、对每个时间周期内的所有已缓存的数据，根据该数据的被访问次数将该数据划分至不同阶层；

S3、根据该数据在当前时间周期的访问次数、上一时间周期内数据的被访问次数、当前时间周期内数据的被访问次数以及上一时间周期内数据的被访问次数，对数据的缓存时长进行延长或缩短操作。

当前频次＝(当前总读次数(cur_cnt)-前次总读次数(cnt))/(当前时间-前次更新时间)。通过计算当前频次，并跟前次频次(rate)进行比较，即可判断频次的上升或下降，以及处于哪个阶段，并按照逻辑对该数据的缓存时长进行延长或缩短，并把当前频次覆盖缓存公数据中rate值(以方便下次判断)。频次策略保证了短时间内出现的热点数据在回原服务器出问题时，在比较长的一段时间内(例如2-8小时)也能正常响应。例如12:00某明星宣布结婚，该视频流量会突然增长上来，根据频次策略可把该视频缓存续费起来。

优选地，所述步骤S2具体包括：若100≤被访问次数≤1000，则将该数据划分至第1阶层；若1000＜被访问次数≤10000，则将该数据划分至第2阶层；若被访问次数＞10000，则将该数据划分至第3阶层。传统的缓存策略是通过固定算法(例如LRU，LFU)来做淘汰，不一定适用所有项目，本策略通过设计三阶段方式，以及调整方式来找到最优的缓存策略。