[发明专利]一种基于hbase的数据散列处理方法及装置在审
| 申请号： | 201410471421.2 | 申请日： | 2014-09-16 |
| 公开（公告）号： | CN104252535A | 公开（公告）日： | 2014-12-31 |
| 发明（设计）人： | 朱爱军;叶潇;陈威;林菓 | 申请（专利权）人： | 福建新大陆软件工程有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 福州市鼓楼区博深专利代理事务所(普通合伙) 35214 | 代理人： | 林志峥 |
| 地址： | 350000 福建省福*** | 国省代码： | 福建;35 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 基于 hbase 数据 处理 方法 装置 | ||
1.一种基于hbase的数据散列处理方法，其特征在于，包括步骤：
将hbase的接口文件加载到HDFS分布式文件存储或装置中；
将所述接口文件转换成HFILE存储格式；获取规范化处理后的接口文件中的各数据的KEY字段；
根据每个KEY字段分别生成随机种子，并以hbase的物理存储节点的总数为除数对每个随机种子进行取模，获得节点编号；
分别将每个KEY字段所对应的数据加载至节点编号所对应的物理存储节点。
2.根据权利要求1所述的基于hbase的数据散列处理方法，其特征在于，所述生成随机种子的方法为平方取中法。
3.根据权利要求1所述的基于hbase的数据散列处理方法，其特征在于，所述生成随机种子的方法为线性取余法。
4.根据权利要求2或3所述的基于hbase的数据散列处理方法，其特征在于，所述接口文件为手机上网日志数据。
5.根据权利要求4所述的基于hbase的数据散列处理方法，其特征在于，所述数据的KEY字段为手机号码字段。
6.一种基于hbase的数据散列处理装置，其特征在于，包括第一加载模块、转换模块、取模模块和第二加载模块；
所述第一加载模块用于将hbase的接口文件加载到HDFS分布式文件存储或装置中；
所述转换模块用于将所述接口文件转换成HFILE存储格式；获取规范化处理后的接口文件中的各数据的KEY字段；
所述取模模块用于根据每个KEY字段分别生成随机种子，并以hbase的物理存储节点的总数为除数对每个随机种子进行取模，获得节点编号；
所述第二加载模块用于分别将每个KEY字段所对应的数据加载至节点编号所对应的物理存储节点。
7.根据权利要求6所述的基于hbase的数据散列处理装置，其特征在于，所述取模模块根据每个KEY字段生成随机种子的方法为平方取中法。
8.根据权利要求6所述的基于hbase的数据散列处理装置，其特征在于，所述取模模块根据每个KEY字段生成随机种子的方法为线性取余法。
9.根据权利要求7或8所述的基于hbase的数据散列处理装置，其特征在于，所述接口文件为手机上网日志数据。
10.根据权利要求9所述的基于hbase的数据散列处理装置，其特征在于，所述数据的KEY字段为手机号码字段。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于福建新大陆软件工程有限公司，未经福建新大陆软件工程有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201410471421.2/1.html，转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
