[发明专利]一种数据迁移的方法及系统

权利要求书

1.一种数据迁移的方法，其特征在于，首先使用Spark读取旧集群中HBase表，并将表数据转化为json格式保存到对应的HDFS路径下，使用命令将保存的数据上传到新集群的HDFS路径下，然后使用Spark读取HDFS路径下HBase的json数据并解析，程序中自动创建表空间和表，最后将解析的数据使用Spark保存到新集群的HBase中，实现跨集群数据迁移。

2.根据权利要求1所述的一种数据迁移的方法，其特征在于，使用Spark的newAPIHadoopRDD方法读取HBase数据为HBaseRDD,使用HBaseRDD的map方法将RDD内容转化为String json格式的HbaseJson，使用RDD的saveAsTextFile将数据保存到HDFS路径中。

3.根据权利要求2所述的一种数据迁移的方法，其特征在于，使用Hadoop的get命令将HDFS路径上的数据下载下来，将下载下来的数据上传到新集群的HDFS路径下。

4.根据权利要求3所述的一种数据迁移的方法，其特征在于，使用Linux的scp命令将所述下载下来的数据发送到新集群，再使用Hadoop的put命令上传到新集群的HDFS路径中。

5.根据权利要求4所述的一种数据迁移的方法，其特征在于，使用Spark读取上传到新集群中的数据为HBaseJson，然后判断表空间和表名是否存在，如果不存在，则程序自动创建，最后使用HBaseJson的mapToPair方法解析并转化json数据，然后用saveAsNewAPIHadoopDataset将数据保存到HBase表中。

6.一种数据迁移的系统，其特征在于，使用Spark读取旧集群中HBase表，HBase表中的表数据转化为json格式保存到对应的HDFS路径下，使用相应命令将保存的数据上传到新集群的HDFS路径下，Spark读取HDFS路径下HBase的json数据并解析，程序中自动创建表空间和表，解析的数据使用Spark保存到新集群的HBase中，用于实现跨集群数据迁移。

7.根据权利要求6所述的一种数据迁移的系统，其特征在于，使用Spark的newAPIHadoopRDD方法读取HBase数据为HBaseRDD,使用HBaseRDD的map方法将RDD内容转化为String json格式的HbaseJson，使用RDD的saveAsTextFile将数据保存到HDFS路径中。

8.根据权利要求7所述的一种数据迁移的系统，其特征在于，使用Hadoop的get命令将HDFS路径上的数据下载下来，将下载下来的数据上传到新集群的HDFS路径下。

9.根据权利要求8所述的一种数据迁移的系统，其特征在于，使用Linux的scp命令将所述下载下来的数据发送到新集群，再使用Hadoop的put命令上传到新集群的HDFS路径中。

10.根据权利要求9所述的一种数据迁移的系统，其特征在于，使用Spark读取上传到新集群中的数据为HBaseJson，然后判断表空间和表名是否存在，如果不存在，则程序自动创建，最后使用HBaseJson的mapToPair方法解析并转化json数据，然后用saveAsNewAPIHadoopDataset将数据保存到HBase表中。