[发明专利]云存储系统中基于动态阈值调整的高性能分级存储优化方法

说明书

本发明提出了一种云存储系统中基于动态阈值调整的分级存储方法。首先对系统存储资源按性能进行层级划分，依照系统整体能力确定具体存储分级结构。其次，定期扫描系统的各个存储节点，获取最新的系统存储状态与数据访问情况，计算数据的温度值，并与设定的阈值比较，生成数据的存储等级调整策略。然后，依据生成的存储策略信息对分级结构与阈值进行动态调整。最后，对数据对象实施优化存储放置。本发明能够适用于不同规模大小的云存储集群，具有降低迁移抖动，提升系统性能的优点。

技术领域

本发明主要涉及到云计算领域，特别涉及到云存储系统中的分级存储领域。

背景技术

随着数据的爆炸式增长，存储需求日益增大，大规模设备集群的云存储系统是目前解决海量数据高效存储的有效技术手段。云存储技术衍生于云计算，是通过集群整合、分布式文件系统、网络技术等技术，将集群中的众多设备与应用软件等资源协同工作，对外提供较大吞吐能力的数据存储业务。

云存储系统中的各存储节点往往具有不同的存储容量和存储性能，如何将海量数据存储到这些性能异构的存储节点中，来提高云存储系统的资源利用率，并满足用户的性能需求，是云存储系统亟待解决的问题。分级存储技术能够充分考虑存储系统中存储资源的异构性，将存储资源划分为多个层级，并依据存储系统中数据特点与数据业务应用规律，以数据访问热度为主来评估数据的价值，得到数据相应的存储层级与放置策略，在云存储系统中具有较强的技术可行性。

目前有较多的研究人员与相关学者，相继提出了将分级存储理论应用于云存储系统中的解决方案。然而，由于提出的分级结构固化不灵活，用于衡量数据存储等级的阈值固定，在具体的实施过程中往往出现数据迁移抖动、迁移成本高等问题。因此，本发明设计了一种云存储系统中基于动态阈值调整的高性能分级存储优化方法。

发明内容

本发明公开了一种云存储系统中基于动态阈值调整的高性能分级存储优化方法，它通过动态阈值调整与动态分级协同的优化算法来共同决定数据对象的存储状态，使得数据对象依据最优的存储策略进行离线优化存储，从而解决系统出现的数据迁移抖动问题，提升系统性能。

本发明提供的基于动态阈值调整的高性能分级存储优化方法，包括以下步骤：

步骤1、存储节点信息采集：

由各存储节点分别采集各自的服务器状态信息，并将采集到的信息周期性地发送至中心服务器。

步骤2、存储节点分级处理：

依据存储节点服务器状态信息，计算存储节点的性能值SP，所有存储节点按性能值SP排序并划分出冷热区，再计算冷区存储节点的分级评估值，并从冷区中划分出一份缓冲区。

步骤3、忽略冷区存储节点中，在统计时间T内没有被访问过的数据对象，计算其他数据对象i的数据温度P_i并保存。

步骤4、对于步骤3中处理过的数据对象，将其数据温度与冷热阈值比较，生成离线优化存储策略元组。

步骤5、根据步骤4生成的策略元组信息，动态调整热阈值与分级结构。

步骤6、根据策略元组信息，对数据对象实施离线优化分级存储调整策略。

附图说明

图1是本发明的功能模块图；

图2是本发明的流程图；

具体实施方式

如图2所示，本发明方法的具体实施过程步骤为：

步骤1、云存储系统中各个存储节点的信息采集：

1)周期性地收集所有存储节点的状态信息，包括存储节点的CPU、内存、硬盘、网络、读写速率等运行状态信息，获取存储节点数据访问业务信息。