[发明专利]海量数据容灾备份方法

权利要求书

1.一种海量数据容灾备份方法，用于在基于SSD的分布式存储系统中执行数据存储，其特征在于，包括：

使用SSD作为缓存挂载用户态文件系统到指定目录，当上层应用程序访问存储在分布式存储系统中的数据时，查询配置记录，查询得出文件系统调用所操作的具体簇；如果所需要的簇位于SSD中，则命中请求并返回相应的数据，如果所需要的簇不在SSD中，使用分布式存储接口远程获得相应的数据，再将数据载入到内存返回文件系统调用，之后将数据缓存到SSD中；

所述存储系统的数据以桶的形式进行组织，而每个桶数据以键进行访问，键在桶数据被写入后生成；存储的文件被切分为固定大小的簇，每个簇以桶的形式存储到分布式存储中；

该方法还包括：将文件划分为固定大小的簇，并以簇为单位进行均衡化；当检测到发生写性能下降后，通过动态选择将簇存储在性能下降节点上的数据迁移到未下降的SSD节点上，同时在数据初始部署时以簇为单位预留一部分SSD节点；当某个SSD节点上发生写入问题后，称为异常节点，动态的将簇存储在异常节点上的数据迁移到预留节点上；

所述写性能下降以数据请求延迟作为指标，在记录延迟时减去网络层延迟，只记录读写层完成写请求造成的延迟；

假设L_i代表检测模块记录的第i个写请求的延迟，则当连续N个延迟的方差小于α时，也即：

其中延迟平均值为：

被记录为一次经过处理后的平台写请求延迟，如果某个读写节点前后两次记录的平台写请求延迟的比例小于一个特定的值θ，也即：

则表示该SSD节点出现了写性能下降，其中α和β是与SSD相关的参数；

所述缓存管理模块在SSD中缓存存储对象；当上层应用程序需要对簇进行读写时，缓存管理模块首先将相应的簇取回内存进行数据操作，而后缓存到SSD中固定大小的缓存区中；在缓存替换中，距离LRU位置分别为L/8、L/4和L/2的位置设置三个不同状态位，用于区分读和写操作引入缓存的数据，L为LRU栈的长度；由读操作引入存储对象缓存的数据存储在LRU栈的状态位；在缓存启动阶段，在固定时间间隔内确定最终使用的状态位的位置；收集运行时各个状态位的位置的开销Cost，并通过比较该值确定最终选取的状态位的位置；

Cost的计算方法如下：

Cost＝C_W/C_R*N_W+N_R

其中，C_W和C_R对应写操作和读操作的相同次数的计价，而N_W是记录的写操作的操作次数，N_R记录读操作的操作次数。

2.根据权利要求1所述的方法，其特征在于，所述分布式存储系统包括缓存管理模块，所述缓存管理模块用于异步的处理数据修改请求，并且对有限的SSD缓存空间进行管理。

3.根据权利要求1或2所述的方法，其特征在于，所述分布式存储系统还包括配置管理模块，用于管理用户态文件系统的配置，将配置记录存储在SSD中，每次文件系统挂载时从SSD中读出。

4.根据权利要求3所述的方法，其特征在于，所述分布式存储系统还包括分布式存储模块，用于将所有文件系统调用传递给用户态的缓存管理模块和配置管理模块。