[发明专利]识别大数据存储系统中的关联性存储设备的方法及系统

说明书

本发明公开了一种识别大数据存储系统中的关联性存储设备的方法及系统，其中方法包括：当接收到在大数据存储系统的多个存储设备中识别关联性存储设备的指示时，将大数据存储系统的统计时间区间划分为多个时间单元，将每个存储设备的每个时间单元的文件组中在时间单元内的被访问次数最多的数据文件选择作为基准数据文件并将其余的数据文件选择作为参考数据文件，确定与每个存储设备相关联的高关联度的时间单元的数量、中关联度的时间单元的数量以及低关联度的时间单元的数量；计算多个存储设备中每个存储设备的时间关联性系数，将时间关联性系数大于关联性阈值的存储设备确定为数据文件的访问具有时间关联性的存储设备。

技术领域

本发明涉及大数据存储领域，并且更具体地，涉及一种识别大数据存储系统中的关联性存储设备的方法及系统。

背景技术

目前，随着大数据存储系统的使用越来越广泛，针对大数据存储系统的存储效率提升的改进方案也越来越多。例如，部分大数据存储系统通过冗余存储等方式来提高读取效率并且能够保证数据安全性。随着大数据存储系统的运行时间越来越长，存储设备中的数据文件的数量也会越来越多。多个存储设备中的部分存储设备中的数据文件的被访问会存在一定的规律性。例如，数据文件的被访问次数与时间呈现关联特性等。然而，现有技术中并没有针对时间对大数据存储系统中的存储设备进行关联分析或存储的手段。

发明内容

根据本发明的一个方面，提供一种识别大数据存储系统中的关联性存储设备的方法，所述方法包括：

当接收到在大数据存储系统的多个存储设备中识别关联性存储设备的指示时，读取大数据存储系统内信息记录设备中的设备信息文件，对所述设备信息文件进行解析以确定大数据存储系统中存储设备的数量SN；

将大数据存储系统的统计时间区间划分为多个时间单元，其中时间单元的数量为TN，根据多个时间单元中的每个时间单元和大数据存储系统内多个存储设备中每个存储设备在统计时间区间内的访问记录信息确定每个存储设备在统计时间区间内的时间统计文件，其中每个存储设备的时间统计文件包括多个时间记录和与每个时间记录相关联的文件信息表，其中每个时间记录的内容包括：时间单元的标识符、时间单元的开始时间、时间单元的结束时间、相关联的数据文件的总数量、时间单元内的被访问次数；与每个时间记录相关联的文件信息表的表名为时间记录中时间单元的标识符，并且文件信息表包括多个4元组,其中每个4元组为数据文件的标识符、数据文件的摘要信息、数据文件在时间单元内的被访问次数、数据文件的存储尺寸，根据文件信息表确定与每个时间单元相关联的多个数据文件并将与每个时间单元相关联的多个数据文件构成每个时间单元的文件组；

将每个存储设备的每个时间单元的文件组中在时间单元内的被访问次数最多的数据文件选择作为基准数据文件并将其余的数据文件选择作为参考数据文件，其中每个时间单元的文件组具有一个基准数据文件和至少一个参考数据文件，将每个时间单元的文件组内基准数据文件的摘要信息与每个参考数据文件的摘要信息进行内容匹配以确定基准数据文件与每个参考数据文件的内容关联度，将每个存储设备的每个时间单元内基准数据文件与每个参考数据文件的内容关联度的平均值作为每个存储设备的每个时间单元的内容关联度TR_ij，其中i和j为自然数，存储设备的数量SN≥i≥1并且时间单元的数量TN≥j≥1；

将内容关联度大于第一关联度阈值的时间单元确定为高关联度的时间单元HT，将内容关联度小于或等于第一关联度阈值并且大于第二关联度阈值的时间单元确定为中关联度的时间单元MT，以及将内容关联度小于或等于第二关联度阈值的时间单元确定为低关联度的时间单元LT，其中与每个存储设备相关联的多个时间单元包括至少一个高关联度的时间单元HT、至少一个中关联度的时间单元MT和至少一个低关联度的时间单元LT；

确定与每个存储设备相关联的高关联度的时间单元的数量HTN_i、确定与每个存储设备相关联的中关联度的时间单元的数量MTN_i以及确定与每个存储设备相关联的低关联度的时间单元的数量LTN_i；