[发明专利]一种基于HBase数据表的数据处理方法、装置、设备及存储介质在审
申请号: | 202211310956.2 | 申请日: | 2022-10-25 |
公开(公告)号: | CN115577055A | 公开(公告)日: | 2023-01-06 |
发明(设计)人: | 许吉来;罗晓峰;姜帆;张延堂;林发全 | 申请(专利权)人: | 中国农业银行股份有限公司 |
主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F16/22 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 杨义 |
地址: | 100005 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了基于HBase数据表的数据处理方法、装置、设备及存储介质,涉及大数据处理技术领域。包括:根据关系型数据表的空间占用信息,得到HBase数据表预分区的分区数量;统计关系型数据表中数据字段的至少一个候选字符的分布频度,并对候选字符进行哈希映射,得到候选字符的哈希值;其中,候选字符为非ASCII码字符;根据关系型数据表中的至少一个候选字符、以及候选字符的分布频度和哈希值,构建预分区映射表;根据分区数量、预分区映射表、以及关系型数据表中的至少一个候选字符的分布频度,确定预分区的分区区间,并创建HBase分区表;基于预分区映射表和分区区间,将关系型数据表中的数据导入HBase分区表中。实现了基于非ASCII码字符对HBase数据表进行预分区。 | ||
搜索关键词: | 一种 基于 hbase 数据表 数据处理 方法 装置 设备 存储 介质 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国农业银行股份有限公司,未经中国农业银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202211310956.2/,转载请声明来源钻瓜专利网。