[发明专利]一种实时迁移策略

说明书

本发明公开了一种实时迁移策略，应用于分布式文件存储系统，基于实时记录的数据访问次数，当访问次数在固定的间隔时间长度内超过了设定的阈值则进行需要升级迁移，将全局访问进行实时监控和分析。在数据访问发生时，实时记录数据的访问次数和间隔时间；判断数据实时访问频率是否超过预设的阈值，若是，则加入到迁移队列中。根据实时记录的CPU利用率、内存使用率、存储池容量和IO队列长度自动调整访问频率策略中的参数。本发明执行全局数据访问的监控，为分布式文件存储系统的存储方法提供了有效帮助。

技术领域

本发明涉及数据迁移策略，尤其涉及一种实时迁移策略，属于移动通信技术领域。

背景技术

随着电子网络时代的兴起，在日常的工作生活中需要用到越来越多的数据存储。而随着时间的增加，会出现数据源硬件老化、数据源存储空间不足、数据源需要更新换代等问题的出现。因此，需要进行数据迁移以保证数据的完整性。根据IDC的调查报告显示，在目前的数据中80%的数据都是非结构化的数据，相较于结构化数据，非结构化数据的增长速度远远高于结构化数据的增长速度。对于激增的非结构化数据，上层应用提出了更高的存储和访问性能要求：高性能、低成本以及高可扩展。进一步地，分析文件访问的局部性和不同存储设备的特性后，构建一种多层级的数据分级存储系统成为一种可行的解决方案，使用高性能设备存储频繁访问的热数据以保证性能，使用价格低廉的大容量存储设备存储不常访问的冷数据以节约成本。

分级存储系统中迁移策略是数据分级的关键，数据迁移策略将直接决定存储系统中数据的存储和访问性能。现有的分级存储方案中，大多数仅根据全局的、历史的访问情况以判断文件的冷热程度，缺乏更加实时性的文件访问监控和分析，从而导致文件的迁移不及时，针对突发性频繁访问的文件无法及时进行迁移。

发明内容

为了解决文件的迁移不及时的问题，本发明提供了一种实时迁移策略。

本发明的所采用的技术方案如下：

一种实时迁移策略，应用于分布式文件存储系统，基于实时记录的数据访问次数，当访问次数在固定的间隔时间长度内超过了设定的阈值则进行需要升级迁移，将全局访问进行实时监控和分析。

S11：在数据访问发生时，实时记录数据的访问次数和间隔时间；

S12：判断数据实时访问频率是否超过预设的阈值，若是，则加入到迁移队列中；

S13：根据实时记录的CPU利用率、内存使用率、存储池容量和IO队列长度自动调整访问频率策略中的参数。

当系统收到迁移检查信号时，将迁移队列中的文件进行相应的升级或降级迁移。

本发明达到的有益效果：

提供了一种实时迁移策略，IO请求发生时，根据访问的文件句柄信息和其所在的存储层级，实时统计该文件的访问次数信息，定时间隔T时间后增量遍历全局文件访问信息进行迁移决策，选出访问次数超过N的需要进行迁移的文件加入到文件待迁移队列中等待执行文件迁移，并且在迁移完成后根据系统监控的各层级、各节点的存储容量等信息判断是否需要调整迁移策略中的阈值T和N。执行全局数据访问的监控，为分布式文件存储系统的存储方法提供了有效帮助。

附图说明

结合附图，从本发明的优选实施例的以下描述和权利要求可以获得本发明的其它特征和优点。在不超出本发明的范围的情况下，在这种情况下可以按任何期望的方式将图中所示的不同实施例的单独特征加以组合。在所述附图中：

图1为本发明中策略执行具体流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式