[发明专利]一种HDFS中大数据迁移完整性验证的方法

说明书

技术领域

本发明涉及计算机技术领域，具体的说是一种HDFS中大数据迁移完整性验证的方法。

背景技术

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

Hadoop Distributed File System（HDFS）被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。运行在HDFS之上的程序有很大量的数据集。典型的HDFS文件大小是TB的级别。所以，HDFS被调整成支持大文件。它应该提供很高的聚合数据带宽，一个集群中支持数百个节点，一个集群中还应该支持千万级别的文件。HDFS被设计成可以简便地实现平台间的迁移，这将推动需要大数据集的应用更广泛地采用HDFS作为平台。

本技术提供了一种简便宜行的验证HDFS数据迁移之后数据完整性的方法，可以使管理员迅速、方便的验证迁移后数据是否完整、有效，并将验证结果记录到日志文件中。

发明内容

本发明的技术任务是解决现有技术的不足，提供一种HDFS中大数据迁移完整性验证的方法。

本发明的技术方案是按以下方式实现的，该一种HDFS中大数据迁移完整性验证的方法，其具体实现过程如下：

1)获取原始HDFS文件及目录结构详细信息和迁移后的新HDFS文件信息；

2)对原始文件信息以及新文件信息分片处理；

3)输出新旧文件信息的对比验证和验证结果。

所述步骤1）的详细过程为：

在原始的HDFS文件系统中通过执行hadoop fs –lsr / > oldInfo命令，获取原始HDFS文件的详细信息，并将结果重定向到oldInfo文件中；

在迁移后新的HDFS文件系统中，通过执行相同的命令hadoop fs –lsr / >newInfo，获取新的HDFS文件信息，并将结果重定向到newInfo文件中。

所述步骤2）的详细过程为：将原始文件信息oldInfo和新文件信息newInfo按相同的规则进行分片，这里的规则是指按照行数分割成相同的文件数。

所述步骤3）的详细过程为：通过将分片后的新旧HDFS文件信息进行对应的逐个对比，将对比后的结果保存在日志文件中，这里的对比是指对比文件或文件夹的名字，以及文件的大小是否相匹配。

所述匹配过程为：

一、用旧的文件信息为基准，逐条匹配新的文件信息；

二、若完全匹配，则取旧文件信息的下一条继续步骤二过程的匹配；

三、若文件大小未能完全匹配上，代表该文件迁移不完整，将文件信息记录至日志文件后，继续步骤二；

四、若文件信息为找到，代表该文件未被迁移至新文件系统，将文件信息记录至日志文件后，继续步骤二；

五、当所有的旧文件信息全都被提取过一遍之后，本次完整性验证结束。

本发明与现有技术相比所产生的有益效果是：

本发明的一种HDFS中大数据迁移完整性验证的方法是一种高效、快速且易实施操作的对HDFS中迁移出的数据完整性验证的方法,最终实现利用该技术,高效、简便的验证迁移出的新数据的完整性，进一步减少了人工逐一进行数据验证的工作量，且大大减少了编程的工作量；不需要进行程序的编译、打包，只需要简单的脚本即可完成验证；更加突出大数据灵活、便捷的优势，使得用户可以非常快速简便的找到可能存在的不完整的数据；适用范围广泛，该方法适用于多种HDFS环境，实用性强，易于推广。

附图说明

附图1为本发明的实现流程示意图。

具体实施方式

下面结合附图对本发明的一种HDFS中大数据迁移完整性验证的方法作以下详细说明。

如附图1所示，现提供一种HDFS中大数据迁移完整性验证的方法，该方法的具体思路是依次取出迁移之前的每个HDFS文件信息，在新的HDFS文件信息中搜索，若文件信息存在，且大小等信息符合。则继续在迁移前的HDFS信息中取出下一条，继续比较。如果在新的HDFS文件信息中没找到或找到后文件大小不相符，则代表该条数据未被成功迁移。

其具体实现过程如下：

一、原始HDFS文件及目录结构详细信息和迁移后的新HDFS文件信息的获取。