[发明专利]一种存储集群中分级缓存读写数据的方法

权利要求书

1.一种存储集群中分级缓存读写数据的方法，其特征在于,其实现基于后端存储集群、第一级缓存、第二级缓存、api网关、日志文件系统和应用程序，其中：

后端存储集群管理原始数据，

第一级缓存存储动态变化的热点数据，并依据进程的pid和业务属性将热点数据划分为不同的pool，pool内以对象为单位存储，

第二级缓存将第一级缓存的pool数据按照索引抽成段Segment，进而以段Segment的形式保存，

api网关作为所有请求的流量入口，统一处理请求、合并相同的请求数据，

日志文件系统存储写请求发生时的数据；

在应用程序发起读请求时，api网关统一处理收到的请求并发布到第二级缓存中，第二级缓存根据请求查找段Segment，找到相关段Segment后，定位到第一级缓存的pool，或者，没有找到相关段Segment，进一步向第一级缓存发起缺段请求，在第一级缓存中仍无法找到相关信息后，继续到后端存储集群查找；

在应用程序发起写请求时，api网关统一处理收到的请求并采用WAL方式写入日志文件系统，等事务完成时再Flush进后端存储集群。

2.根据权利要求1所述的一种存储集群中分级缓存读写数据的方法，其特征在于，第一级缓存中定义有第一后台线程，在pool的存储空间不够时，第一后台线程选择pool内的脏对象并刷到后端存储集群，或者/同时，第一后台线程剔除第一级缓存的clean对象，以释放更多的存储空间。

3.根据权利要求1所述的一种存储集群中分级缓存读写数据的方法，其特征在于，第二级缓存中定义有第二后台线程，第二后台线程用于定时清理第二级缓存的脏数据。

4.根据权利要求1所述的一种存储集群中分级缓存读写数据的方法，其特征在于，第二级缓存将pool数据按照索引抽成的段Segment只存储pool数据的索引和地址；每个段Segment具有动态可变的长度，每个段Segment的长度基于第二级缓存的闪存空间进行自由调度。

5.根据权利要求1所述的一种存储集群中分级缓存读写数据的方法，其特征在于，原始数据不限于包括环境部署时初始化的数据、通过存储介质写入的元数据、运行过程中产生的生产数据和监控数据；

热点数据不限于包括虚拟机镜像相关数据、近一段时间的监控告警数据。

6.根据权利要求1-5中任一项所述的一种存储集群中分级缓存读写数据的方法，其特征在于，后端存储集群采用SATA Cluster作为存储介质，通过ceph集群或GlusterFS集群管理原始数据。

7.根据权利要求6所述的一种存储集群中分级缓存读写数据的方法，其特征在于，第一级缓存采用SSD Cluster。

8.根据权利要求7所述的一种存储集群中分级缓存读写数据的方法，其特征在于，第二级缓存采用NAND或SCM闪存阵列。

9.根据权利要求8所述的一种存储集群中分级缓存读写数据的方法，其特征在于，第一级缓存与后端存储集群的总容量比值为1：100，第二级缓存与第一级缓存的总容量比值为1：10。

10.根据权利要求1所述的一种存储集群中分级缓存读写数据的方法，其特征在于，第一级缓存作为cache，根据数据块的大小和召回概率确定数据块的公式取决于性能目标，性能目标包括最大化cache命中率，最小化平均响应时间以及最小化由于cache未命中而必须暂存到cache中的数据量；

当性能目标是最大化cache命中率时，用于确定数据块q值的公式为q＝r(x，s，A)/s；

当性能目标是最小化平均响应时间时，用于确定数据块q值的公式为q＝ ((α+βs)*r(x，s，A))/s，以α+βs来表示未命中损失，即cache未命中的响应时间超过cache命中的响应时间；

当性能目标是最小化由于cache未命中而必须暂存到cache中的数据量时，用于确定数据块q值的公式为q＝r(x，s，A)；

上述公式中，s是数据块的大小，x是数据块的未引用时间间隔，A代表用于估计数据块的召回概率的辅助参数，r(x，s，A)是数据块作为x，s和A的函数的召回概率，α和β是常数。