[发明专利]在大数据存储设备中识别关联性时间单元的方法及系统

说明书

本发明公开了一种在大数据存储系统的存储设备中识别关联性时间单元的方法及系统，其中方法包括：向大数据存储系统内用于存储数据文件的多个存储设备中的每个存储设备发送用于指示开始识别关联性时间单元的通知消息；每个存储设备读取各自的信息存储区域中的访问记录文件并对各自的访问记录文件进行解析,以确定相应存储设备在当前运行时间区间内的访问记录信息；将当前运行时间区间划分为数量相同的多个时间单元；将大数据存储系统的多个存储设备中的每个存储设备依次作为当前存储设备并进行识别处理；将当前存储设备的多个时间单元中关联系数大于关联系数阈值的时间单元确定为当前存储设备在当前运行时间区间内的具有时间关联性的时间单元。

技术领域

本发明涉及大数据存储领域，并且更具体地，涉及一种在大数据存储系统的存储设备中识别关联性时间单元的方法和系统。

背景技术

目前，随着大数据存储系统的使用越来越广泛，针对大数据存储系统的存储效率提升的改进方案也越来越多。例如，部分大数据存储系统通过冗余存储等方式来提高读取效率并且能够保证数据安全性。随着大数据存储系统的运行时间越来越长，数据文件的被访问通常会呈现与时间相关联的特点。例如，在中午或傍晚，针对食品、餐厅等的大数据分析需要频繁使用大数据存储系统，而在工作时间，针对工作内容的大数据分析需要频繁使用大数据存储系统。然而，现有技术中并没有针对时间对大数据存储系统中的数据文件进行关联分析或存储的手段。

发明内容

根据本发明的一个方面，提供一种在大数据存储系统的存储设备中识别关联性时间单元的方法，所述方法包括：

在大数据存储系统的当前运行时间区间结束时,向大数据存储系统内用于存储数据文件的多个存储设备中的每个存储设备发送用于指示开始识别关联性时间单元的通知消息，其中当前运行时间区间包括DN个自然日；

在接收到通知消息后,每个存储设备读取各自的信息存储区域中的访问记录文件并对各自的访问记录文件进行解析,以确定相应存储设备在当前运行时间区间内的访问记录信息，其中在当前运行时间区间内的访问记录信息包括在当前运行时间区间内的多个日志记录并且每个日志记录用于记载存储设备中的单个数据文件在当前运行时间区间内的单次访问信息；其中每个日志记录包括：数据文件的标识符、访问起始时间、访问结束时间、数据文件的存储尺寸、数据文件的摘要信息和数据文件的存储起始时间；

每个存储设备以每个整点小时为划分单元，将每个自然日分为三种类型的统计区间：高访问度区间、中访问度区间和低访问度区间，其中高访问度区间、中访问度区间和低访问度区间中的每个包括至少一个整点小时，为高访问度区间设置细分参数H、为中访问度区间设置细分参数M和为低访问度区间设置细分参数L；将高访问度区间中的每个整点小时划分为H个时间单元、将中访问度区间中的每个整点小时划分为M个时间单元以及将低访问度区间中的每个整点小时划分为L个时间单元，从而将当前运行时间区间所包括的DN个自然日中的每个自然日划分为数量相同的多个时间单元并确定当前运行时间区间所包括的时间单元的数量TN；

将大数据存储系统的多个存储设备中的每个存储设备依次作为当前存储设备并进行关联性时间单元的识别过程：