[发明专利]一种大数据系统的缓存方法

权利要求书

1.一种大数据系统的缓存方法，其特征在于，所述大数据系统包括存储服务器和多个应用服务器，所述存储服务器的高速缓存包括本地缓存区和远程缓存区，所述本地缓存区用于缓存本地系统访问所产生的缓存数据，所述远程缓存区用于缓存由应用服务器访问所产生的缓存数据；该方法包括以下步骤：

(1)存储服务器接受各个应用服务器的数据访问，确定一个需要调入远程缓存区的数据块；

(2)存储服务器判断当前远程缓存区是否具有足够的空闲空间，可以存储所述数据块，如果有，则将所述数据块存入远程缓存区，如果没有，则继续执行后续步骤；

(3)所述存储服务器计算当前远程缓存区中所有缓存数据块的缓存价值，选择缓存价值最小的一个或多个缓存数据块进行淘汰，以使得高速缓存具有足够的空闲空间存储所述数据块；

其中，所述远程缓存区中缓存数据块的缓存价值采用以下方法计算：

S1：存储服务器为所有应用服务器分别计算权重值，并且定时更新所述权重值；对于任意一个应用服务器，其权重值W为：

其中，W₀是该应用服务器的基本权重值，T是该应用服务器访问该存储服务器的时延，T₀是所有应用服务器访问该存储服务器的平均时延；

S2：当一个数据块被调入远程缓存区时，存储服务器为该数据块计算缓存价值的初始值V，即：

其中，W_A是当前访问该数据块的应用服务器A的权重值；V₀是预设的基本缓存价值，Size是该数据块的大小，S₀是在过去一段时间内所有被调入远程缓存区的数据块的平均大小；

S3：每隔一个预设的标准时间间隔，远程缓存区内的所有缓存数据块的缓存价值都减少一个预定值，最低减少到0；

S4：当远程缓存区中的一个缓存数据块被命中时，存储服务器为该缓存数据块的缓存价值增加一个增加值V_inc，即：

其中，W_B是当前访问该缓存数据块的应用服务器B的权重值；Size1是所述缓存数据块被命中的数据量的大小；

其中，所述本地缓存区和远程缓存区是将一个高速缓存存储器在逻辑上划分成的两个区域，或者所述本地缓存区和远程缓存区是两个独立的高速缓存存储器；

其中，所述存储服务器维护一张缓存价值表，用于存储高速缓存中的每个缓存数据块的缓存价值；

其中，所述步骤(3)中，当选择的缓存数据块被淘汰后，系统对远程缓存区进行整理，调入所述数据块；

其中，所述基本权重值由存储服务器的管理员设置；

其中，所述步骤S1中，所述定时更新具体包括：所述存储服务器定时测量各个应用服务器的访问时延，基于测量结果重新计算各个应用服务器的权重值。