[发明专利]数据预分区方法、装置、电子设备及可读存储介质

权利要求书

1.一种数据预分区方法，其特征在于，包括：

基于接收到的预分区信息通过Spark-sql引擎从目标Hive数据集中获取目标行键数据，所述预分区信息包括行键表名、行键列名、预定分区数；

基于所述目标行键数据与预定分区数，通过所述Spark-sql引擎进行分区迭代计算，得到分区结果信息，所述分区结果信息包括各个分区的开始行键与结束行键；

基于所述分区结果信息对Hbase数据库进行数据预分区。

2.根据权利要求1所述的方法，其特征在于，所述基于接收的预分区信息通过Spark-sql引擎从目标Hive数据集中获取目标行键数据，包括：

基于所述行键表名从目标Hive数据集中确定目标行键表；

基于所述行键列名从所述目标行键表中获取目标行键数据。

3.根据权利要求1或2所述的方法，其特征在于，基于所述目标行键数据与预定分区数，通过所述Spark-sql引擎进行分区迭代计算，得到分区结果信息，包括：

对所述目标行键数据进行RDD化处理，得到RDD化处理后的目标行键数据；

基于所述RDD化处理后的目标行键数据进行排序处理，得到排序处理后的目标行键数据；

基于所述排序处理后的目标行键数据与预定分区数确定分区结果信息。

4.根据权利要求1所述的方法，其特征在于，所述目标Hive数据集中数据的获取方式包括以下至少一项：

从多个Hive表中抽取目标行键数据得到所述目标Hive数据集；

从至少一个业务文件中抽取目标行键数据，并将得到的目标行键数据存储至HDFS系统，以及将存储至HDFS系统的目标行键数据映射为Hive表访问。

5.根据权利要求1-4任一项所述的方法，其特征在于，该方法还包括：

接收待存储目标数据的存储请求，所述待存储目标数据包含第二目标行键；

基于所述第二目标行键确定所述待存储目标数据对应的目标分区，并基于确定的所述目标分区将所述待存储目标数据存储。

6.一种数据预分区装置，其特征在于包括：

获取模块，用于基于接收到的预分区信息通过Spark-sql引擎从目标Hive数据集中获取目标行键数据，所述预分区信息包括行键表名、行键列名、预定分区数；

计算模块，用于基于所述目标行键数据与预定分区数，通过所述Spark-sql引擎进行分区迭代计算，得到分区结果信息，所述分区结果信息包括各个分区的开始行键与结束行键；

分区模块，用于基于所述分区结果信息对Hbase数据库进行数据预分区。

7.根据权利要求6所述的装置，其特征在于，所述获取模块包括：

确定单元，用于基于所述行键表名从目标Hive数据集中确定目标行键表；

获取单元，用于基于所述行键列名从所述目标行键表中获取目标行键数据。

8.根据权利要求6所述的装置，其特征在于，所述计算模块包括：

RDD处理单元，对所述目标行键数据进行RDD化处理，得到RDD化处理后的目标行键数据；

排序单元，用于基于所述RDD化处理后的目标行键数据进行排序处理，得到排序处理后的目标行键数据；

确定单元，用于基于所述排序处理后的目标行键数据与预定分区数确定分区结果信息。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1至5任一项所述的数据预分区方法。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述权利要求1至5中任一项所述的数据预分区方法。