[发明专利]Hive数据仓库的数据处理方法及装置

权利要求书

1.一种Hive数据仓库的数据处理方法，其特征在于，包括：

确定待存储数据存入Hive数据仓库时的Hive正式表的信息；

根据所述Hive正式表的信息，建立与所述Hive正式表表结构相同且名称不同的临时中间表；

将待存储数据导入临时中间表中，从临时中间表中将数据读取到Hadoop分布式文件系统中；

将Hadoop分布式文件系统中每个弹性分布式数据集RDD的最小单元中的文件，依次写入Hive正式表中。

2.如权利要求1所述的Hive数据仓库的数据处理方法，其特征在于，所述Hive正式表的信息，包括：

表名、字段名、字段类型、数据量、分区信息、存储结构和文件存储格式。

3.如权利要求1所述的Hive数据仓库的数据处理方法，其特征在于，从临时中间表中将数据读取到Hadoop分布式文件系统中，包括：

利用Spark sql配置分布式集群可利用的最大资源，将数据从临时中间表读取到Hadoop分布式文件系统中。

4.如权利要求1所述的Hive数据仓库的数据处理方法，其特征在于，还包括：

确定待存储数据的文件大小，判断待存储数据的文件大小是否超出预设文件规格；

确定待存储数据存入Hive数据仓库时的Hive正式表的信息，包括：

待存储数据的文件大小超出预设文件规格时，确定待存储数据存入Hive数据仓库时的Hive正式表的信息。

5.一种Hive数据仓库的数据处理装置，其特征在于，包括：

正式表信息确定模块，用于确定待存储数据存入Hive数据仓库时的Hive正式表的信息；

中间表构建模块，用于根据所述Hive正式表的信息，建立与所述Hive正式表表结构相同且名称不同的临时中间表；

数据暂存模块，用于将待存储数据导入临时中间表中，从临时中间表中将数据读取到Hadoop分布式文件系统中；

文件拆分模块，用于将Hadoop分布式文件系统中每个弹性分布式数据集RDD的最小单元中的文件，依次写入Hive正式表中。

6.如权利要求5所述的Hive数据仓库的数据处理装置，其特征在于，所述Hive正式表的信息，包括：

表名、字段名、字段类型、数据量、分区信息、存储结构和文件存储格式。

7.如权利要求5所述的Hive数据仓库的数据处理装置，其特征在于，所述数据暂存模块，具体用于：

利用Spark sql配置分布式集群可利用的最大资源，将数据从临时中间表读取到Hadoop分布式文件系统中。

8.如权利要求5所述的Hive数据仓库的数据处理装置，其特征在于，还包括：

文件大小确定模块，用于：

确定待存储数据的文件大小，判断待存储数据的文件大小是否超出预设文件规格；

所述正式表信息确定模块，具体用于：

待存储数据的文件大小超出预设文件规格时，确定待存储数据存入Hive数据仓库时的Hive正式表的信息。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一所述方法的计算机程序。