[发明专利]一种HDFS删除文件恢复方法、终端设备及存储介质

说明书

本发明涉及一种HDFS删除文件恢复方法、终端设备及存储介质，该方法中包括：S1：扫描本地存储介质，识别HDFS的Namenode池和DataNode池并关联；S2：查找HDFS文件系统中的fsimage文件，并根据fsimage文件构建目录树；S3：解析HDFS文件系统中edit日志文件，提取所有删除文件的文件信息组成删除文件集合；S4：从HDFS文件系统对应的所有磁盘的未分配簇空间中查找DataNode节点对应的所有数据块组成数据块集合；S5：针对删除文件集合中的每个文件，从数据集合中查找其对应的数据块信息，并进行关联；S6：将删除文件集合与构建的目录树合并为包含删除文件的完整目录树。本发明通过日志重新构建文件系统目录结构，恢复出丢失文件，填补了国内HDFS删除文件恢复技术方便的空白。

技术领域

本发明涉及文件恢复领域，尤其涉及一种HDFS删除文件恢复方法、终端设备及存储介质。

背景技术

HDFS文件系统是运行在通用硬件上的分布式文件系统，随着大数据的发展与普及，其删除文件的恢复技术在智能设备安全、网络信息安全领域将是一个备受关注的热点。目前对HDFS文件系统的文件提取均需通过Hadoop服务器进行文件读取，在Hadoop服务器未启动情况下，无法读取HDFS文件系统存储的文件；在HDFS文件删除情况下，国内外还没有发现有软件支持HDFS文件系统的删除恢复，导致无法深入对HDFS分布式文件系统删除文件进行取证。

发明内容

为了解决上述问题，本发明提出了一种HDFS删除文件恢复方法、终端设备及存储介质。

具体方案如下：

一种HDFS删除文件恢复方法，包括以下步骤：

S1：扫描所有本地存储介质，识别HDFS的Namenode池和DataNode池，并关联同一个HDFS对应的namenode池和datanode池；

S2：从HDFS的NameNode池中查找HDFS文件系统的fsimage元数据文件，并根据fsimage文件构建目录树；

S3：从HDFS的NameNode池中查找HDFS文件系统的edit日志文件，并解析HDFS的edit日志文件，提取所有删除文件的文件信息组成删除文件集合；

S4：从HDFS文件系统关联的所有DataNode池的本地存储介质中，恢复出所有在DataNode池目录下被删除和已存在的数据块组成数据块集合；

S5：针对删除文件集合中的每个文件，从数据集合中查找其对应的数据块信息，并进行关联；当删除文件的数据块信息记载的所有数据块都完整查找到，将该文件标注为可恢复；当删除文件的数据块信息记载的数据块只有部分能够查找到，将该文件标注为部分可恢复；当删除文件的数据块信息记载的部分数据块都查找不到，将该文件标注为不可恢复；

S6：将删除文件集合与构建的目录树合并为包含删除文件的完整目录树。

进一步的，步骤S1具体包括以下步骤：

S11：扫描所有本地存储介质，获取所有具有HDFS目录结构的目录；

S12：读取HDFS目录结构下的VERSION文件，并获取ClusterID和UuID；

S13：通过ClusterID和UuID，关联同一个HDFS的数据池，即namenode池和datanode池。

进一步的，步骤S2中目录树的构建方法包括以下步骤：

S21：根据fsimage文件中的filesummarylength，计算filesummary所占的位置和长度；

S22：根据filesummary文件，解析其中的INODE section和Direction section两个块的位置和长度；