[发明专利]自动化加载大数据的加载方法和系统

说明书

本发明提供了一种自动化加载大数据的加载方法和系统，包括：检查并将数据文件、数据标志文件上传分布式文件系统HDFS；进行初始化配置，将数据检查上传步骤中生产的数据处理后进行切片，写入集群上不同的机器上的缓存区；将缓存区中的数据写入到分布式文件系统HDFS上形成新文件，通过hive自动读取到分布式文件系统HDFS目录上写入的新文件。本发明提高了大数据自动化加载的速度，改善了mapReduce的容错性、减少了数据倾斜的可能性并且基本上覆盖大数据读入后要求的textFi le、Parquet、ORC等不同格式的需求，使得自动化加载系统更加具有普遍适应性。

技术领域

本发明涉及数据迁移加载领域，具体地，涉及自动化加载大数据的加载方法和系统。

背景技术

随着国民GDP总量不断提高，银行业也迎来了快速发展，业务量不断提高，不仅仅是线下业务的提高，线上的不论是PC端还是移动端都得到了提高；这导致了不同系统的数据量大大提高。

但是，每个业务部门相对独立，想要将不同的数据进行深入挖掘其价值就不仅仅局限于单部门或者少量部门的数据，需要将全公司各个业务部门的所有数据进行入池，进行深入的挖掘，提高数据的价值。

为了将数据安全存储，高效的挖掘使用，将不同的数据迁移到大数据平台(hadoop)已经是一种趋势；

专利文献CN114296633A公开了一种基于大数据的数据迁移方法，包括：终端同时向多个元数据节点发送数据获取请求；第一元数据节点基于数据获取请求，获取第一磁盘中的文件数据对应的元数据，并将文件数据对应的元数据发送至zookeeper中；zookeeper基于文件数据对应的元数据，获取文件数据对应的第一文件数据节点及对应的第二磁盘信息；当第二磁盘指示状态为饱和时，zookeeper控制第二磁盘将第二磁盘中的数据迁移至第三磁盘；zookeeper将第一文件数据节点与挂载的第三磁盘信息发送至第一元数据节点，并通过第一元数据节点透发至终端。

但是现在数据迁移的方式通常是手动加载数据或者使用大数据组件自带的读取功能将数据读入。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种自动化加载大数据的加载方法和系统。

根据本发明提供的一种自动化加载大数据的加载方法，包括：

数据检查上传步骤：检查并将数据文件、数据标志文件上传分布式文件系统HDFS；

配置数据切片步骤：进行初始化配置，将数据检查上传步骤中生产的数据处理后进行切片，写入集群上不同的机器上的缓存区；

自动读取步骤：将缓存区中的数据写入到分布式文件系统HDFS上形成新文件，通过hive自动读取到分布式文件系统HDFS目录上写入的新文件。

优选地，所述数据检查上传步骤，包括：

步骤S1：检查数据文件、数据标志文件，并在数据标志文件描述的数据行数不为0且描述的数据文件大小与所述数据文件实际的大小一致，则触发步骤S2；其中，所述数据文件是将要加载的数据的存储文档，所述数据标志文件是对于数据文件的基本描述；在所述步骤S1中：若数据标志文件中数据行数为0则不加载数据，加载数据完成；若数据标志文件中的数据文件大小与数据文件实际的大小不同，则认为是异常，提示用户检查数据源；

步骤S2：将所述数据文件和数据标志文件上传到分布式文件系统HDFS。

优选地，所述配置数据切片步骤，包括：

步骤S3：注册SparkSQL并且启用HiveSupport，通过SparkSQL读取到数据标志文件中的字段信息，并且将字段信息转变为hive建表语句，执行SparkSQL建立相应的hive表；同时将表结构语句作为json文件输出到HDFS临时文件上；