[发明专利]自动化加载大数据的加载方法和系统

权利要求书

1.一种自动化加载大数据的加载方法，其特征在于，包括：

数据检查上传步骤：检查并将数据文件、数据标志文件上传分布式文件系统HDFS；

配置数据切片步骤：进行初始化配置，将数据检查上传步骤中生产的数据处理后进行切片，写入集群上不同的机器上的缓存区；

自动读取步骤：将缓存区中的数据写入到分布式文件系统HDFS上形成新文件，通过hive自动读取到分布式文件系统HDFS目录上写入的新文件。

2.根据权利要求1所述的自动化加载大数据的加载方法，其特征在于，所述数据检查上传步骤，包括：

步骤S1：检查数据文件、数据标志文件，并在数据标志文件描述的数据行数不为0且描述的数据文件大小与所述数据文件实际的大小一致，则触发步骤S2；其中，所述数据文件是将要加载的数据的存储文档，所述数据标志文件是对于数据文件的基本描述；在所述步骤S1中：若数据标志文件中数据行数为0则不加载数据，加载数据完成；若数据标志文件中的数据文件大小与数据文件实际的大小不同，则认为是异常，提示用户检查数据源；

步骤S2：将所述数据文件和数据标志文件上传到分布式文件系统HDFS。

3.根据权利要求2所述的自动化加载大数据的加载方法，其特征在于，所述配置数据切片步骤，包括：

步骤S3：注册SparkSQL并且启用HiveSupport，通过SparkSQL读取到数据标志文件中的字段信息，并且将字段信息转变为hive建表语句，执行SparkSQL建立相应的hive表；同时将表结构语句作为json文件输出到HDFS临时文件上；

步骤S4：初始化加载方法的基本信息；

步骤S5：建立序列化对象，并且对于不同的字段类型给予不同的编号代码；将步骤S3中生成的临时文件读入，将产生的表结构信息放到对象中，此时对象获得每个字段在Byte下开始的位置、结束的位置、数据类型、数据最大占用长度；

步骤S6：配置MapReduce的Job的基本信息；

步骤S7：重写MapReduce的切片机制，对步骤S5处理后的数据进行切片，得到切片数据；

步骤S8：对切片数据进行map()函数的步骤，均匀的写入集群上不同的机器上的缓存区；

其中，切片的方式包括指定为换行符，记为方式1，还包括按照字段的Byte长度进行切割，记为方式2；所述方式1的输出数据主键为IntWriteable类型，值为Text类型，所述方式2的输出数据主键为IntWriteable类型，值为ByteWriteable类型；其中，默认基于方式1加载数据，当数据中有脏数据时，加载行数与数据文件不一致，自动执行基于方式2加载数据。

4.根据权利要求3所述的自动化加载大数据的加载方法，其特征在于，所述自动读取步骤，包括：

步骤S9：当数据缓存数量超过100M或者加载map()函数处理完所有数据后，数据进行reduce()函数操作，将数据写入到HDFS上，并且写入之前给每个数据打上唯一的序号值，写入HDFS的数据按照reduce()函数的配置的输出路径和数据格式进行输出到相应的位置，hive会自动读取到HDFS目录上写入的新文件；

步骤10、SparkSQL检查hive表中导入的数据量，将得到的数据量与flg文件信息中的文件进行对比，若数据行数一致则认为加载成功，否则则认为加载失败。

5.根据权利要求1所述的自动化加载大数据的加载方法，其特征在于，通过MapReduce的方式对数据进行自动化加载，其中当数据源在原字段后边增加新字段后，通过建表语句的读取加载的数据的方式，仍然加载原来业务使用的数据。

6.一种自动化加载大数据的加载系统，其特征在于，包括：

数据检查上传模块：检查并将数据文件、数据标志文件上传分布式文件系统HDFS；

配置数据切片模块：进行初始化配置，将数据检查上传模块中生产的数据处理后进行切片，写入集群上不同的机器上的缓存区；

自动读取模块：将缓存区中的数据写入到分布式文件系统HDFS上形成新文件，通过hive自动读取到分布式文件系统HDFS目录上写入的新文件。