[发明专利]海量数据容灾备份方法

说明书

本发明提供了一种海量数据容灾备份方法，该方法包括：使用SSD作为缓存挂载用户态文件系统到指定目录，当上层应用程序访问存储在分布式存储系统中的数据时，查询配置记录，查询得出文件系统调用所操作的具体簇；如果所需要的簇位于SSD中，则命中请求并返回相应的数据，如果所需要的簇不在SSD中，使用分布式存储接口远程获得相应的数据，再将数据载入到内存返回文件系统调用，之后将数据缓存到SSD中。本发明提出了一种海量数据容灾备份方法，实现了高性能、低功耗的SSD与高带宽容灾分布式存储架构的有机结合。

技术领域

本发明涉及离线存储，特别涉及一种海量数据容灾备份方法。

背景技术

社会已经进入了一个数据爆炸式增长的时代。无处不在的传感器、移动网络、社交网络、微博、网页查询浏览记录、通话记录、消费记录无时无刻不在产生着大量数据。存储领域在大数据时代也面临着诸多挑战。这些挑战不仅仅是海量数据的存储问题，更重要的是从体系结构、系统软件等方面对上层应用高效地处理数据提供相应的支撑，以满足不同的上层应用需求。存储领域从上层软件系统到底层存储设备都正发生着改变。众所周知，SSD固态存储可兼容传统存储系统，并具有高性能、低功耗等优点，被广泛使用在IO密集型应用环境中替换传统机械硬盘。而目前正在使用的云计算平台大多是基于机械磁盘设备进行设计的，SSD由于在内部机制上与磁盘设备完全不同，这使得针对机械磁盘设计的软件系统没有充分利用SSD的特性。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种海量数据容灾备份方法，包括：

使用SSD作为缓存挂载用户态文件系统到指定目录，当上层应用程序访问存储在分布式存储系统中的数据时，查询配置记录，查询得出文件系统调用所操作的具体簇；如果所需要的簇位于SSD中，则命中请求并返回相应的数据，如果所需要的簇不在SSD中，使用分布式存储接口远程获得相应的数据，再将数据载入到内存返回文件系统调用，之后将数据缓存到SSD中。

优选地，所述分布式存储系统包括缓存管理模块，所述缓存管理模块用于异步的处理数据修改请求，并且对有限的SSD缓存空间进行管理。

优选地，所述分布式存储系统还包括配置管理模块，用于管理用户态文件系统的配置，将配置记录存储在SSD中，每次文件系统挂载时从SSD中读出。

优选地，所述分布式存储系统还包括分布式存储模块，用于将所有文件系统调用传递给用户态的缓存管理模块和配置管理模块。

优选地，所述存储系统的数据以桶的形式进行组织，而每个桶数据以键进行访问，键在桶数据被写入后生成；存储的文件被切分为固定大小的簇，每个簇以桶的形式存储到分布式存储中。

优选地，还包括：将文件划分为固定大小的簇，并以簇为单位进行均衡化；当检测到发生写性能下降后，通过动态选择将簇存储在性能下降节点上的数据迁移到未下降的SSD节点上，同时在数据初始部署时以簇为单位预留一部分SSD节点；当某个SSD节点上发生写入问题后，称为异常节点，动态的将簇存储在异常节点上的数据迁移到预留节点上。

优选地，所述写性能下降以数据请求延迟作为指标，在记录延迟时减去网络层延迟，只记录读写层完成写请求造成的延迟；

假设L_i代表检测模块记录的第i个写请求的延迟，则当连续N个延迟的方差小于α时，也即：

其中延迟平均值为：

被记录为一次经过处理后的平台写请求延迟，如果某个读写节点前后两次记录的平台写请求延迟的比例小于一个特定的值θ，也即：

则表示该SSD节点出现了写性能下降，其中α和β是与SSD相关的参数。

本发明相比现有技术，具有以下优点：