[发明专利]一种分层存储数据迁移方法和系统

说明书

本发明提供一种分层存储数据迁移方法和系统，所述方法包括如下步骤：获取文件的元数据信息；根据所述的元数据信息计算文件价值；根据文件价值产生文件迁移计划表；所述的文件迁移计划表内的迁移任务根据文件价值按优先级顺序排列；从文件迁移计划表里取出迁移任务，对文件在不同存储层上进行迁移。本发明提出访问模式与存储性能相匹配的文件价值判定方法能够有效提高文件迁移的准确性和匹配度，同时减少了数据迁移时对系统性能的影响。

技术领域

本发明涉及存储数据迁移管理技术领域，具体涉及一种分层存储数据迁移方法和系统。

背景技术

计算机和通讯技术的发展，使得数据呈爆炸式发展，数据的快速增长对存储系统的高效利用提出了更高的要求。但是根据相关机构统计，大量的数据在创建后被访问的次数非常少，有的数据长期处于休眠状态，但数据却依然存放在昂贵的存储设备上，而企业通常希望将更重要的数据放在高性能的存储设备中，以获得更高的性能和利用率。因此越来越多的机构开始意识到分层存储的重要性。

分层存储是一种让数据在不同存储层次间进行迁移管理的技术。分层存储管理的出现是为了提供所需性能的同时，节约更多的成本。在所有数据中，访问频率较高的数据存放于高性能的存储层，而其他大部分数据存放于性能较低但是容量大且价格低廉的存储层，用户不需要知道数据存放在哪里，系统会自动检索出数据。从存储介质的物理结构来看，分层存储最新的发展是机械硬盘和闪存的结合。存储系统中的分层存储即将访问频率较高的热点数据存放在高速率存储层，例如SSD存储层，而将访问频率较低的冷数据存放在低速率存储层，例如HDD存储层上。而大部分基于文件的分层存储系统数据迁移主要是根据数据的创建时间长短以及访问频率来决定，超过一定年限的数据或访问频率较低的文件放入低速的存储设备中，但是忽略了数据访问模式和不同层存储介质以及实际业务场景之间的关联，同时没有考虑业务本身的时效性和对存储系统可能带来的波动性，导致存储设备的效率没有得到有效提升。

发明内容

针对而大部分基于文件的分层存储系统数据迁移主要是根据数据的创建时间长短以及访问频率来决定，超过一定年限的数据或访问频率较低的文件放入低速的存储设备中，但是忽略了数据访问模式和不同层存储介质以及实际业务场景之间的关联，同时没有考虑业务本身的时效性和对存储系统可能带来的波动性，导致存储设备的效率没有得到有效提升的问题，本发明提供一种基于数据价值的分层存储数据迁移方法和系统。

本发明的技术方案是：

一方面，本发发明技术方案提供一种分层存储数据迁移方法，包括如下步骤：

获取文件的元数据信息；

根据所述的元数据信息计算文件价值；

根据文件价值产生文件迁移计划表；所述的文件迁移计划表内的迁移任务根据文件价值按优先级顺序排列；

从文件迁移计划表里取出迁移任务，对文件在不同存储层上进行迁移。

进一步的，所述的获取文件的元数据信息中，所述的元数据信息包括文件的读写频率，顺序/随机访问比例，文件读写大小，文件读写顺序/随机系数；

文件读写顺序系数

文件读写随机系数

δ∈(0，1)，设X周期的平均响应时间为t：

表示编号为i的文件在X周期内顺序访问的频率；

编号为i的文件在X周期内随机访问的频率；

δ是0到1之间的常数，表示历史访问频率对文件价值判定的影响大小。

进一步的，所述的根据所述的元数据信息计算文件价值的步骤包括：

所述的根据所述的元数据信息计算文件价值的步骤包括：