[发明专利]一种分级存储方法及装置

说明书

本发明公开了一种分级存储方法及装置。其中，该方法包括：基于数据动态分级策略，决定不同条件下触发数据的迁移；基于文件关联规则挖掘技术，将文件相互关联；其中，相互关联的文件用于自动预取；基于迁移速率控制机制，最大化数据的迁移速度。通过本发明，基于数据动态分级策略，决定不同条件下触发数据的迁移；基于文件关联规则挖掘技术，将文件相互关联；其中，相互关联的文件用于自动预取；基于迁移速率控制机制，最大化数据的迁移速度。解决了相关技术中分级管理方法无法在在线存储和近线存储之间灵活迁移数据的问题，从而能够更加灵活的控制回迁的触发，能够灵活配置分级管理策略，在在线存储和近线存储之间灵活的迁移数据。

技术领域

本发明涉及计算机存储系统领域，特别是涉及一种分级存储方法及装置。

背景技术

分级存储管理指的是在物理上，存储设备依据价格、性能或其他属性被区分为多种不同的类别，而数据依据其访问活动或者其他特性，动态的在不同类别的存储设备间迁移的存储系统。与传统的存储系统相比，分级存储系统将具有不同性能、容量、价格的设备整合在一起，提供高性能、大容量、低价格的存储环境。

在一般的分级存储系统中，包括三个层级：在线存储，近线存储和离线存储。其中在线存储使用的是高性能的磁盘，如SSD和FC盘。在线存储存放少量的具有较高价值和访问频率的数据，相比而言，这些存储设备性能好，存取速度快，访问在线存储中的数据，能够满足应用对高性能的要求。近线存储存放不太活跃的数据，由于SATA盘具有较大的容量、较低的价格和较低的性能，适于应用于近线存储中。而上层应用对近线存储中的访问较少，所以对系统整体性能的影响并不大。离线存储设备一般使用的是磁带或磁带库，其主要目的是用于存储在线存储和近线存储中数据的备份或归档的数据。离线存储数据的读取往往需要比较长的时间，而且也几乎不会对离线存储数据进行访问。

现有的分级存储系统主要是针对备份应用（将冷数据从在线存储迁移到近线或者离线存储上）或者缓存应用（将近线存储上变热的数据迁移到在线存储以提高性能），较少有二者兼顾的设计。这些设计存在的问题在于，系统在数据分级之后，数据的回迁会产生性能较低的问题。例如，对于一些访问频率不高的冷数据，可能在分级时被从在线存储迁移到近线或者离线存储上，该数据被再次访问时，现有系统一般有两种解决方法：1）提前通过预取提前对该数据进行了回迁，这种方法预测的时间一般较短，且可能存在不准确的问题；2）触发该数据的回迁，这样的回迁可能是没有必要的，因为这些数据可能只是一次性访问，回迁的代价较大。

针对相关技术中分级管理方法无法在在线存储和近线存储之间灵活迁移数据的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中分级管理方法无法在在线存储和近线存储之间灵活迁移数据的问题，本发明提供了一种分级存储方法及装置，用以解决上述技术问题。

根据本发明的一个方面，本发明提供了一种分级存储方法，其中，该方法包括：基于数据动态分级策略，决定不同条件下触发数据的迁移；基于文件关联规则挖掘技术，将文件相互关联；其中，相互关联的文件用于自动预取；基于迁移速率控制机制，最大化数据的迁移速度。

优选地，基于数据动态分级策略，决定不同条件下触发数据的迁移包括：基于数据动态分级策略，进行数据分级操作；其中，上述数据分级操作包括文件升级操作和文件降级操作；基于数据分级操作，决定不同条件下触发数据的迁移。

优选地，基于数据动态分级策略，进行文件升级操作包括：根据文件升级后单位时间内被访问的数据量，衡量文件升级的收益效率；根据上述文件升级的收益效率和文件升级的成本，确定数据升级的单位成本收益效率；根据上述数据升级的单位成本收益效率，判断文件的升级效用值是否高于升级阈值；如果是，则对文件执行升级操作。