[发明专利]一种冷热数据分析方法及系统

权利要求书

1.一种冷热数据分析方法，其特征在于，包括：

文件数据信息获取步骤，用于通过解析一Hadoop分布式文件系统HDFS的元数据节点NameNode和审计日志AuditLog得到所述HDFS中文件的数据信息；

冷热数据分析步骤，用于利用神经网络算法模型LSTM分析所述HDFS中文件的数据信息，以所述数据信息为参考划分所述HDFS的文件为冷数据、热数据。

2.如权利要求1所述的冷热数据分析方法，其特征在于，所述文件数据信息获取步骤进一步包括：

文件存储信息获取步骤，用于将所述元数据节点NameNode的元数据镜像文件FsImage存储至一数据仓库DB，并根据所述元数据镜像文件FsImage构建一HDFS文件目录树，得到HDFS中文件的存储信息；

文件使用信息获取步骤，用于将所述元数据节点NameNode的元数据操作日志EditLog及所述审计日志AuditLog定期存储至所述数据仓库DB，并通过解析所述元数据操作日志EditLog、审计日志AuditLog更新所述HDFS文件目录树，得到HDFS中文件的使用信息。

3.如权利要求2所述的冷热数据分析方法，其特征在于，所述冷热数据分析步骤进一步包括：

文件标记步骤，用于解析所述数据存储信息和数据使用信息得到所述HDFS中文件在一时间段内的修改记录和/或访问记录，根据是否存在所述修改记录和/或访问记录将文件标记相应标记为1或0；

文件数据信息预测步骤，用于将所述文件标记步骤得到的标记后的HDFS中文件利用一神经网络算法模型LSTM进行训练并得到一预测结果；

冷热数据划分步骤，用于根据所述预测结果判断冷热数据，

若所述预测结果为1，则划分所述文件为热数据；

若所述预测结果为0，则划分所述文件为冷数据。

4.如权利要求3所述的冷热数据分析方法，其特征在于，所述冷热数据分析步骤还包括：

LRU冷热数据划分步骤，用于解析所述数据存储信息和数据使用信息得到所述HDFS中文件最后一次修改时间和/或访问时间，并利用一缓存淘汰算法LRU以一设定时间为阈值划分冷热数据，得到划分结果。

5.如权利要求4所述的冷热数据分析方法，其特征在于，所述冷热数据分析步骤还包括：

划分结果精确化步骤，将所述冷热数据划分步骤得到的划分结果和所述LRU冷热数据划分步骤得到的划分结果进行与运算，得到精确化的冷热数据划分结果。

6.如权利要求4或5所述的冷热数据分析方法，其特征在于，所述设定时间为自定义的时间长度，包括但不限于年、季度、月份其一或其任意组合。

7.一种冷热数据分析系统，其特征在于，包括：

文件数据信息获取模块，用于通过解析一Hadoop分布式文件系统HDFS的元数据节点NameNode和审计日志AuditLog得到所述HDFS中文件的数据信息；

冷热数据分析模块，用于利用神经网络算法模型LSTM分析所述HDFS中文件的数据信息，以所述数据信息为参考划分所述HDFS的文件为冷数据、热数据。

8.如权利要求7所述的冷热数据分析系统，其特征在于，所述文件数据信息获取模块进一步包括：

文件存储信息获取模块，用于将所述元数据节点NameNode的元数据镜像文件FsImage存储至一数据仓库DB，并根据所述元数据镜像文件FsImage构建一HDFS文件目录树，得到HDFS中文件的存储信息；

文件使用信息获取模块，用于将所述元数据节点NameNode的元数据操作日志EditLog及所述审计日志AuditLog定期存储至所述数据仓库DB，并通过解析所述元数据操作日志EditLog、审计日志AuditLog更新所述HDFS文件目录树，得到HDFS中文件的使用信息。