[发明专利]一种分级存储系统中块级数据特征处理方法

说明书

技术领域

本发明涉及智能数据管理领域，具体的说是一种分级存储系统中块级数据特征处理方法。

背景技术

数据分级存储技术主要是根据被监控对象的数据特征在存储虚拟层将存储资源与热点数据进行合理匹配，实现存储资源的高效利用。在现有的分级存储数据特征分析方法中，一类是利用文件对象包括的多种数据特征属性，如文件大小，类型等进行数据特征的获取分析，将具有不同特征的数据进行分类管理。但是，基于文件级的分级存储以文件作为数据特征统计的基本单位，如果文件比较大，并且当只有局部信息经常被访问时，那么就存在对于热点数据定位不准确的问题，从而导致不能够将真正需要被分级的数据放置于高效且昂贵的存储资源上，不利于提高存储管理效率。基于块级的分级存储是一种细粒度的数据分级管理方案，能够将数据管理的粒度细化到以根据应用需求所定义的扩展块级。然而，对于数据特征的获取与分析是难点，特别是对于块级热点数据的判定存在问题。如果单独基于块被引用次数与阀值的比较结果作为数据冷热程度的判定标准，从而做出数据迁移的决策，那么很可能引起数据抖动问题，即数据将在短时间内重复进行升/降级操作，这种方式将导致系统资源的消耗，不利于提高系统性能。

发明内容

本发明的技术任务是解决现有技术的不足，提供一种分级存储系统中块级数据特征处理方法。

本发明的技术方案是按以下方式实现的，该一种分级存储系统中块级数据特征处理方法，首先设置分级存储系统架构，该构架包括数据特征收集器、存储资源管理器、策略配置管理器与迁移管理器，其中各个部分对块级数据特征的处理过程为：

一、存储资源管理器将存储资源进行整合，形成具备分级存储能力的存储资源池，利用存储资源管理器按照性能由高到低的顺序组织磁盘，并且构建多级设备链表，将设备进行统一管理，然后将存储资源映射为逻辑卷供上层文件系统使用；

二、数据特征收集器负责监控上层传输的I/O请求，并且统计针对于某个数据块的引用频率特征，然后根据数据特征分析方法进行分析，将分析结果通知给迁移管理器进行后续的分级管理操；

三、迁移管理器同时利用策略配置管理器对块数据的扫描周期、最大未使用时间等参数进行设置，以便能够为迁移操作提供决策信息。

所述步骤二中的数据特征收集器对块数据的完整I/O事件进行监控管理，其中I/O事件包括传输大小、响应时间、逻辑块地址LBA以及发生I/O事件的磁盘ID、执行I/O的队列，数据特征收集器将每一个I/O二元组映射给唯一的块，并且统计每一个块的I/O数，然后，周期地计算每一个块的引用频率，分别统计读引用数与写引用数。

所述步骤二的详细过程为：数据特征收集器的请求队列接收来自通用块设备的I/O请求，当I/O入队列后，通知分级系统工作线程运转，工作线程根据I/O的不同类型划分不同的设备块给I/O请求存储写数据，数据写入分配的块设备之后I/O结束；在处理写请求时，记录数据块的写信息，包括设备的写请求数量、块的写请求数量；对于读I/O请求统计设备以及块的访问引用计数和访问时间信息，然后再将I/O进行转发；最后，将整个队列的引用频率信息进行统计，根据数据特征计算方法进行特征值的计算，从而判定数据的冷热程度。

所述数据特征值包括引用频率偏差E_i(t)与引用偏差变化率DE_i(t)：块引用频率偏差E_i(t)表示块S_i在数据管理周期T内，数据块S_i被访问的实际引用数M与该块所处层级设备的引用阀值threshold的差值，反映该块数据与平均热度的差值水平；引用偏差变化率DE_i(t)表示块S_i在某段时间内偏差的变化频率，该值反映数据块S_i的活跃程度。

所述引用频率偏差E_i(t)的计算方式如下：数据块S_i在数据管理周期T内，S_i被访问的实际引用数M与该块所处层级设备的引用阀值threshold的差值；

引用偏差变化率DE_i(t)的计算方式如下：数据块S_i当前采样时刻t引用频率偏差E_i(t)与上一采样时刻t-1引用频率偏差E_i(t-1)之间的差异，再除以采样间隔时间△t。

本发明与现有技术相比所产生的有益效果是：