[发明专利]流式数据存储方法及装置

权利要求书

1.一种流式数据存储方法，其特征在于，包括：

获取Hive数据库表的分区信息；

接收流式数据处理引擎传入的流式数据；

判断Hive数据库表的分区信息是否包含接收到的流式数据的分区信息；

在Hive数据库表的分区信息不包含接收到的流式数据的分区信息时，创建新的Hive分区；

将接收到的流式数据存储至新的Hive分区对应的HDFS文件中。

2.如权利要求1所述的流式数据存储方法，其特征在于，还包括：

在Hive数据库表的分区信息包含接收到的流式数据的分区信息时，将接收到的流式数据存储至包含该流式数据分区信息的Hive分区对应的HDFS文件中。

3.如权利要求1所述的流式数据存储方法，其特征在于，在步骤将接收到的流式数据存储至新的Hive分区对应的HDFS文件中之前，还包括：

将创建的新的Hive分区的分区信息更新至Hive数据库表的分区信息中。

4.如权利要求1所述的流式数据存储方法，其特征在于，获取Hive数据库表的分区信息，包括：

通过Hive的元数据库获取Hive数据库表的分区信息。

5.如权利要求1所述的流式数据存储方法，其特征在于，流式数据处理引擎包括spark流式数据引擎，接收流式数据处理引擎传入的流式数据，包括：

通过实时流处理接收spark流式数据引擎传入的流式数据。

6.如权利要求1所述的流式数据存储方法，其特征在于，判断Hive数据库表的分区信息是否包含接收到的流式数据的分区信息，包括：

通过创建的用户自定义函数判断Hive数据库表的分区信息是否包含接收到的流式数据的分区信息。

7.如权利要求1所述的流式数据存储方法，其特征在于，在Hive数据库表的分区信息包含接收到的流式数据的分区信息时，创建新的Hive分区，包括：

在Hive数据库表的分区信息包含接收到的流式数据的分区信息时，利用spark sql命令创建新的Hive分区。

8.一种流式数据存储装置，其特征在于，包括：

分区信息获取模块，用于获取Hive数据库表的分区信息；

流式数据接收模块，用于接收流式数据处理引擎传入的流式数据；

分区信息判断模块，用于判断Hive数据库表的分区信息是否包含接收到的流式数据的分区信息；

分区创建模块，用于在Hive数据库表的分区信息不包含接收到的流式数据的分区信息时，创建新的Hive分区；

流式数据存储模块，用于将接收到的流式数据存储至新的Hive分区对应的HDFS文件中。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一所述流式数据存储方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7任一所述流式数据存储方法的计算机程序。