[发明专利]一种基于HBase数据表的数据处理方法、装置、设备及存储介质

权利要求书

1.一种基于HBase数据表的数据处理方法，其特征在于，包括：

根据关系型数据表的空间占用信息，得到HBase数据表预分区的分区数量；

统计所述关系型数据表中数据字段的至少一个候选字符的分布频度，并对所述候选字符进行哈希映射，得到所述候选字符的哈希值；其中，所述候选字符为非ASCII码字符；

根据所述关系型数据表中的至少一个候选字符、以及所述候选字符的分布频度和哈希值，构建预分区映射表；

根据所述分区数量、所述预分区映射表、以及所述关系型数据表中的至少一个候选字符的分布频度，确定所述预分区的分区区间，并创建HBase分区表；

基于所述预分区映射表和所述分区区间，将所述关系型数据表中的数据导入所述HBase分区表中。

2.根据权利要求1所述的方法，其特征在于，所述根据所述关系型数据表中的至少一个候选字符，以及所述候选字符的分布频度和哈希值，构建预分区映射表，包括：

根据所述关系型数据表中的至少一个候选字符的分布频度和哈希值，确定目标哈希值截取位数；

根据所述目标哈希值截取位数，对所述候选字符对应的哈希值进行截取，得到目标截取数字；

基于预设的数据拼接规则，将所述候选字符、所述哈希值截取位数和所述目标截取数字进行拼接，以得到预分区映射表。

3.根据权利要求2所述的方法，其特征在于，所述根据所述关系型数据表中的至少一个候选字符的分布频度和哈希值，确定目标哈希值截取位数，包括：

对所述关系型数据表中候选字符的哈希值的目标数据位上的数字进行统计，得到所述目标数据位的至少一组候选数字；其中，所述目标数据位包括哈希值中的至少一个数据位；

根据所述候选字符的分布频度，确定所述候选数字的出现频率；

从所述至少一组候选数字的出现频率中，确定最大出现频率；

根据所述最大出现频率和可存储频率，确定目标哈希值截取位数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述最大出现频率和可存储频率，确定目标哈希值截取位数，包括：

若所述最大出现频率小于可存储频率，则确定目标数据位对应的数据位的位数，作为目标哈希值截取位数；

若所述最大出现频率大于所述可存储频率，则增加所述目标数据位的数据位，以更新所述目标数据位，并根据新的目标数据位的至少一组候选数字，重新确定目标哈希值截取位数。

5.根据权利要求1所述的方法，其特征在于，所述基于所述预分区映射表和所述预分区区间，将所述关系型数据表中的数据导入所述HBase分区表中，包括：

确定所述关系型数据表中的待存储字段的目标字符；

从所述预分区映射表中查询所述目标字符对应的第一哈希值截取位数；

根据所述第一哈希值截取位数，确定对所述目标字符的哈希值进行截取的第一截取数字，并根据所述第一截取数字，从所述HBase分区表中确定目标分区表；

根据预设的拼接规则，将所述第一截取数字和所述待存储字段进行拼接，将拼接结果和所述待存储字段对应的数据存储至所述HBase分区表中对应的目标分区表中。

6.根据权利要求1所述的方法，其特征在于，还包括：

获取待查询字段；

基于所述预分区映射表和所述HBase分区表，根据所述待查询字段，从所述HBase分区表中查询所述待查询字段关联的数据。

7.根据权利要求6所述的方法，其特征在于，所述基于所述预分区映射表和所述预分区表，根据所述待查询字段，从所述HBase分区表中查询所述待查询字段关联的数据，包括：

基于所述预分区映射表，根据所述待查询字段，确定第二哈希值截取位数；

根据所述第二哈希值截取位数，确定所述待查询字段的哈希值的第二截取数字；

根据预设的拼接规则，将所述待查询字段和所述第二截取数字进行拼接；

根据拼接的结果，从所述HBase分区表中查询所述待查询字段关联的数据。