[发明专利]数据预分区方法、装置、电子设备及可读存储介质

说明书

本申请提供了一种数据预分区方法、装置、电子设备及可读存储介质，应用于大数据技术领域，其中该方法包括：通过Spark‑sql引擎从目标Hive数据集中获取目标行键数据，实现大规模的目标行键数据的归集，根据归集的目标行键数据得到分区结果信息，并根据分区结果信息对Hbase数据库进行数据预分区，从而能实现大规模数据的均匀存储，避免出现数据倾斜；此外，Spark‑sql引擎为基于内存的大数据处理框架，相较于基于磁盘的MapReduce，其数据处理速度更快，能实现大规模数据的快速计算；再者，与Hash散列rowkey(行键)的方式相比，本申请在读取数据时，不需要进行转义(Hash散列方式需要转义)，能有效提升数据查询的速度。

技术领域

本申请涉及大数据技术领域，具体而言，本申请涉及一种数据预分区方法、装置、电子设备及可读存储介质。

背景技术

金融业特别是银行业为代表的传统巨头企业，其业务种类复杂度高、客户指标维度多、客户群体总量大、交易流水大，客户360视图或者历时流水查询等数据多达几百维度，体量多达数亿客户、万亿级数据。

主流的用于查询交易的分布式、面向列的Hbase常用语解决上述问题，但是由于数据分布不均匀，高并发交易下常因热点问题而造成交易性能较低。现在常见的处理办法是创建hash散列rowkey，然后做到数据均匀分布，但是，Hash散列rowkey能比较好的优化数据分布，但是查询的时候需要进行转义、且Hash其存在本身也占用空间，所以本身效率不是最佳且浪费资源。因此，大批量的数据的合理存储成为了一个问题。

发明内容

本申请提供了一种数据预分区方法、装置、电子设备及可读存储介质，用于实现大规模数据的均匀存储，避免出现数据倾斜现象，本申请采用的技术方案如下：

第一方面，提供了一种数据预分区方法，该方法包括，

基于接收到的预分区信息通过Spark-sql引擎从目标Hive数据集中获取目标行键数据，预分区信息包括行键表名、行键列名、预定分区数；

基于目标行键数据与预定分区数，通过Spark-sql引擎进行分区迭代计算，得到分区结果信息，分区结果信息包括各个分区的开始行键与结束行键；

基于分区结果信息对Hbase数据库进行数据预分区。

可选地，基于接收的预分区信息通过Spark-sql引擎从目标Hive数据集中获取目标行键数据，包括：

基于行键表名从目标Hive数据集中确定目标行键表；

基于行键列名从目标行键表中获取目标行键数据。

可选地，基于目标行键数据与预定分区数，通过Spark-sql引擎进行分区迭代计算，得到分区结果信息，包括：

对目标行键数据进行RDD化处理，得到RDD化处理后的目标行键数据；

基于RDD化处理后的目标行键数据进行排序处理，得到排序处理后的目标行键数据；

基于排序处理后的目标行键数据与预定分区数确定分区结果信息。

可选地，目标Hive数据集中数据的获取方式包括以下至少一项：

从多个Hive表中抽取目标行键数据得到目标Hive数据集；

从至少一个业务文件中抽取目标行键数据，并将得到的目标行键数据存储至HDFS系统，以及将存储至HDFS系统的目标行键数据映射为Hive表访问。

可选地，该方法还包括：

接收待存储目标数据的存储请求，待存储目标数据包含第二目标行键；

基于第二目标行键确定待存储目标数据对应的目标分区，并基于确定的目标分区将待存储目标数据存储。