[发明专利]一种基于HBase数据表的数据处理方法、装置、设备及存储介质

说明书

本发明公开了基于HBase数据表的数据处理方法、装置、设备及存储介质，涉及大数据处理技术领域。包括：根据关系型数据表的空间占用信息，得到HBase数据表预分区的分区数量；统计关系型数据表中数据字段的至少一个候选字符的分布频度，并对候选字符进行哈希映射，得到候选字符的哈希值；其中，候选字符为非ASCII码字符；根据关系型数据表中的至少一个候选字符、以及候选字符的分布频度和哈希值，构建预分区映射表；根据分区数量、预分区映射表、以及关系型数据表中的至少一个候选字符的分布频度，确定预分区的分区区间，并创建HBase分区表；基于预分区映射表和分区区间，将关系型数据表中的数据导入HBase分区表中。实现了基于非ASCII码字符对HBase数据表进行预分区。

技术领域

本发明涉及数据处理技术领域，尤其涉及大数据技术领域，具体涉及一种HBase数据表的数据处理方法、装置、设备及存储介质。

背景技术

随着信息技术的快速发展，Hadoop在各行业获得了广泛应用，为各行业提供了大数据解决方案。Hadoop是一个分布式系统基础架构，以一种可靠、高效、可伸缩的方式进行数据存储和处理，满足各行业海量数据查询需求。

Hadoop数据主要存储在HBase数据库中，HBase数据表存储数据量较大，例如存储的数据量超过10GB(GigaByte，吉字节)时，会自动进行分区，但对性能有巨大的影响。HBase提供了预分区功能，即用户可以在创建表的时候对表按照一定的规则分区。HBase仅支持使用ASCII码字符(占1个字节)进行预分区，不支持使用非ASCII(American Standard Codefor Information Interchange，美国信息交换标准代码)码字符(占多个字节)进行预分区。

发明内容

本发明提供了一种基于HBase数据表的数据处理方法、装置、设备及存储介质，以实现基于非ASCII码对数据表进行预分区。

根据本发明的一方面，提供了一种基于HBase数据表的数据处理方法，包括：

根据关系型数据表的空间占用信息，得到HBase数据表预分区的分区数量；

统计关系型数据表中数据字段的至少一个候选字符的分布频度，并对候选字符进行哈希映射，得到候选字符的哈希值；其中，候选字符为非ASCII码字符；

根据关系型数据表中的至少一个候选字符、以及候选字符的分布频度和哈希值，构建预分区映射表；

根据分区数量、预分区映射表、以及关系型数据表中的至少一个候选字符的分布频度，确定预分区的分区区间，并创建HBase分区表；

基于预分区映射表和分区区间，将关系型数据表中的数据导入HBase分区表中。

根据本发明的另一方面，提供了一种基于HBase数据表的数据处理装置，包括：

分区数量确定模块，用于根据关系型数据表的空间占用信息，得到HBase数据表预分区的分区数量；

哈希值获取模块，用于统计关系型数据表中数据字段的至少一个候选字符的分布频度，并对候选字符进行哈希映射，得到候选字符的哈希值；其中，候选字符为非ASCII码字符；

映射表构建模块，用于根据关系型数据表中的至少一个候选字符、以及候选字符的分布频度和哈希值，构建预分区映射表；

分区区间确定模块，用于根据分区数量、预分区映射表、以及关系型数据表中的至少一个候选字符的分布频度，确定预分区的分区区间，并创建HBase分区表；

数据导入模块，用于基于预分区映射表和分区区间，将关系型数据表中的数据导入HBase分区表中。

根据本发明的另一方面，提供了一种电子设备，电子设备包括：

至少一个处理器；以及