[发明专利]一种数据处理方法、装置、设备及计算机可读存储介质有效
申请号: | 201810093886.7 | 申请日: | 2018-01-31 |
公开(公告)号: | CN108345659B | 公开(公告)日: | 2020-11-24 |
发明(设计)人: | 邢方山 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22 |
代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 林燕云 |
地址: | 518000 广东省深*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 设备 计算机 可读 存储 介质 | ||
1.一种数据处理方法,其特征在于,包括:
根据接收到的客户标签数据的数量计算所需用于保存所述客户标签数据的数据表的数量,并创建相应数量的数据表;
构建一致性哈希环,将所述数据表均匀地映射至所述一致性哈希环;
获取每条所述客户标签数据的主键字段;
利用一致性哈希算法对所述主键字段进行哈希处理得到对应客户标签数据的哈希值,一个所述哈希值等于所述一致性哈希环上的一个空间值;
根据所述哈希值确定用于存储对应的客户标签数据的数据表;
将所述客户标签数据保存在所述数据表中。
2.根据权利要求1所述的数据处理方法,其特征在于,所述将所述数据表均匀地映射至所述一致性哈希环,包括:
根据所述数据表的数量将所述一致性哈希环进行等分,等分数量与所述数据表的数量相等;
获取所述一致性哈希环的所有等分点的空间值,将各个空间值分别作为各个数据表映射在所述一致性哈希环的空间位置。
3.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述哈希值确定用于存储对应的客户标签数据的数据表,包括:
计算所述客户标签数据对应的哈希值与各个数据表的空间位置之间的相对位置比;
获取最小的相对位置比对应的数据表;
确定所述数据表为用于存储所述客户标签数据的数据表。
4.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述哈希值确定用于存储对应的客户标签数据的数据表,包括:
计算所述客户标签数据对应的哈希值与各个数据表的空间位置之间的相对位置比;
获取最小的相对位置比对应的数据表;
判断所述数据表的存储数据量是否达到预设数量;
若所述数据表的存储数据量未达到预设数量,则确定所述数据表为用于存储所述客户标签数据的数据表;
若所述数据表的存储数据量达到预设数量,则从存储数据量未达到预设数量的数据表中获取具有较小的相对位置比对应的数据表,确定所述数据表为用于存储所述客户标签数据的数据表。
5.根据权利要求1所述的数据处理方法,其特征在于,所述创建相应数量的数据表之后,还包括:
利用序号为所述数据表命名;
所述将所述客户标签数据保存在所述数据表中之后,还包括:
接收查询客户标签数据的指令信息,所述指令信息包括客户标签数据的主键字段;
通过所述一致性哈希算法对所述主键字段进行哈希处理得到所述客户标签数据的哈希值;
从所有所述数据表的空间位置中搜索与所述哈希值最接近的空间位置;
获取与所述哈希值最接近的空间位置对应的数据表,在所述数据表中查询所述主键字段对应的客户标签数据;
若在所述数据表中未查询到所述客户标签数据,则根据所述数据表的表名中的序号依次查询剩余的数据表,直至查询到所述客户标签数据。
6.一种数据处理装置,其特征在于,包括:
计算单元,用于根据接收到的客户标签数据的数量计算所需用于保存所述客户标签数据的数据表的数量;
创建单元,用于创建相应数量的数据表;
构建单元,用于构建一致性哈希环;
映射单元,用于将所述数据表均匀地映射至所述一致性哈希环;
第一获取单元,用于获取每条所述客户标签数据的主键字段;
哈希单元,用于利用一致性哈希算法对所述主键字段进行哈希处理得到对应客户标签数据的哈希值,一个所述哈希值等于所述一致性哈希环上的一个空间值;
确定单元,用于根据所述哈希值确定用于存储对应的客户标签数据的数据表;
保存单元,用于将所述客户标签数据保存在所述数据表中。
7.根据权利要求6所述的数据处理装置,其特征在于,所述映射单元包括:
等分子单元,用于根据所述数据表的数量将所述一致性哈希环进行等分,等分数量与所述数据表的数量相等;
映射子单元,用于获取所述一致性哈希环的所有等分点的空间值,将各个空间值分别作为各个数据表映射在所述一致性哈希环的空间位置。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810093886.7/1.html,转载请声明来源钻瓜专利网。