[发明专利]一种HDFS中大数据迁移完整性验证的方法

权利要求书

1.一种HDFS中大数据迁移完整性验证的方法，其特征在于其具体实现过程如下：

1)获取原始HDFS文件及目录结构详细信息和迁移后的新HDFS文件信息；

2)对原始文件信息以及新文件信息分片处理；

3)输出新旧文件信息的对比验证和验证结果。

2.根据权利要求1所述的一种HDFS中大数据迁移完整性验证的方法，其特征在于：所述步骤1）的详细过程为：

在原始的HDFS文件系统中通过执行hadoop fs –lsr / > oldInfo命令，获取原始HDFS文件的详细信息，并将结果重定向到oldInfo文件中；

在迁移后新的HDFS文件系统中，通过执行相同的命令hadoop fs –lsr / >newInfo，获取新的HDFS文件信息，并将结果重定向到newInfo文件中。

3.根据权利要求1或2所述的一种HDFS中大数据迁移完整性验证的方法，其特征在于：所述步骤2）的详细过程为：将原始文件信息oldInfo和新文件信息newInfo按相同的规则进行分片，这里的规则是指按照行数分割成相同的文件数。

4.根据权利要求3所述的一种HDFS中大数据迁移完整性验证的方法，其特征在于：所述步骤3）的详细过程为：通过将分片后的新旧HDFS文件信息进行对应的逐个对比，将对比后的结果保存在日志文件中，这里的对比是指对比文件或文件夹的名字，以及文件的大小是否相匹配。

5.根据权利要求4所述的一种HDFS中大数据迁移完整性验证的方法，其特征在于：所述匹配过程为：

一、用旧的文件信息为基准，逐条匹配新的文件信息；

二、若完全匹配，则取旧文件信息的下一条继续步骤二过程的匹配；

三、若文件大小未能完全匹配上，代表该文件迁移不完整，将文件信息记录至日志文件后，继续步骤二；

四、若文件信息为找到，代表该文件未被迁移至新文件系统，将文件信息记录至日志文件后，继续步骤二；

五、当所有的旧文件信息全都被提取过一遍之后，本次完整性验证结束。