[发明专利]在大数据存储设备中识别关联性时间单元的方法及系统

摘要

本发明公开了一种在大数据存储系统的存储设备中识别关联性时间单元的方法及系统，其中方法包括：向大数据存储系统内用于存储数据文件的多个存储设备中的每个存储设备发送用于指示开始识别关联性时间单元的通知消息；每个存储设备读取各自的信息存储区域中的访问记录文件并对各自的访问记录文件进行解析,以确定相应存储设备在当前运行时间区间内的访问记录信息；将当前运行时间区间划分为数量相同的多个时间单元；将大数据存储系统的多个存储设备中的每个存储设备依次作为当前存储设备并进行识别处理；将当前存储设备的多个时间单元中关联系数大于关联系数阈值的时间单元确定为当前存储设备在当前运行时间区间内的具有时间关联性的时间单元。

主权项

1.一种在大数据存储系统的存储设备中识别关联性时间单元的方法，所述方法包括：在大数据存储系统的当前运行时间区间结束时,向大数据存储系统内用于存储数据文件的多个存储设备中的每个存储设备发送用于指示开始识别关联性时间单元的通知消息，其中当前运行时间区间包括DN个自然日；在接收到通知消息后,每个存储设备读取各自的信息存储区域中的访问记录文件并对各自的访问记录文件进行解析,以确定相应存储设备在当前运行时间区间内的访问记录信息，其中在当前运行时间区间内的访问记录信息包括在当前运行时间区间内的多个日志记录并且每个日志记录用于记载存储设备中的单个数据文件在当前运行时间区间内的单次访问信息；其中每个日志记录包括：数据文件的标识符、访问起始时间、访问结束时间、数据文件的存储尺寸、数据文件的摘要信息和数据文件的存储起始时间；每个存储设备以每个整点小时为划分单元，将每个自然日分为三种类型的统计区间：高访问度区间、中访问度区间和低访问度区间，其中高访问度区间、中访问度区间和低访问度区间中的每个包括至少一个整点小时，为高访问度区间设置细分参数H、为中访问度区间设置细分参数M和为低访问度区间设置细分参数L；将高访问度区间中的每个整点小时划分为H个时间单元、将中访问度区间中的每个整点小时划分为M个时间单元以及将低访问度区间中的每个整点小时划分为L个时间单元，从而将当前运行时间区间所包括的DN个自然日中的每个自然日划分为数量相同的多个时间单元并确定当前运行时间区间所包括的时间单元的数量TN；将大数据存储系统的多个存储设备中的每个存储设备依次作为当前存储设备并进行：根据多个时间单元中的每个时间单元和当前存储设备的访问记录信息确定当前存储设备的当前运行时间区间的时间统计文件，其中所述时间统计文件包括多个时间记录和与每个时间记录相关联的文件信息表，其中每个时间记录的内容包括：时间单元的标识符、时间单元的开始时间、时间单元的结束时间、相关联的数据文件的总数量、时间单元内的被访问次数、相关联的数据文件的总存储尺寸；与每个时间记录相关联的文件信息表的表名为时间记录中时间单元的标识符，并且文件信息表包括多条文件记录，其中每条文件记录为<数据文件的标识符、数据文件的摘要信息、数据文件在时间单元内的被访问次数、数据文件的存储尺寸、数据文件的起始存储时间>，根据文件信息表确定与每个时间单元相关联的多个数据文件并将与每个时间单元相关联的多个数据文件构成每个时间单元的文件组，确定每个时间单元的文件组所包括的数据文件的数量FNi，其FNi为第i个时间单元的文件组所包括的数据文件的数量，i为自然数并且TN≥i≥1；将每个时间单元的文件组中在时间单元内的被访问次数最多的数据文件选择作为基准数据文件并将其余的数据文件选择作为参考数据文件，其中每个时间单元的文件组具有一个基准数据文件和至少一个参考数据文件，将每个时间单元的文件组内基准数据文件的摘要信息与每个参考数据文件的摘要信息进行内容匹配以确定基准数据文件与每个参考数据文件的内容关联度，将每个时间单元内基准数据文件与每个参考数据文件的内容关联度的平均值作为每个时间单元的内容关联度TRi，基于当前存储设备的信息存储区域中的存储统计文件确定当前运行时间区间结束时在当前存储设备中数据文件的总数量Ftotal，基于当前运行时间区间的每个时间记录中的时间单元内的被访问次数计算在当前运行时间区间内当前存储设备中所有数据文件的总被访问次数ANtotal，计算当前运行时间区间内每个时间单元的平均被访问次数ANaverage基于每个时间单元的文件组中数据文件的数量FNi、每个时间单元内的被访问次数ANi、当前存储设备中数据文件的总数量Ftotal、每个时间单元的平均被访问次数ANaverage以及每个时间单元的内容关联度TRi计算每个时间单元的关联系数：其中CRi为当前存储设备的第i个时间单元的关联系数、FNi是第i个时间单元的文件组中数据文件的数量,Ftotal是当前存储设备中数据文件的总数量,ANi是第i个时间单元内的被访问次数、ANaverage是当前存储设备在每个时间单元的平均被访问次数以及TRi是第i个时间单元的内容关联度，φ为调整因子，将当前存储设备的多个时间单元中关联系数大于关联系数阈值的时间单元确定为当前存储设备在当前运行时间区间内的具有时间关联性的时间单元。