[发明专利]数据处理方法、装置、可读介质及电子设备有效
申请号: | 202110336511.0 | 申请日: | 2021-03-29 |
公开(公告)号: | CN113157695B | 公开(公告)日: | 2023-06-06 |
发明(设计)人: | 王石冲;王航宇;罗梦瑶;汪鹏;丁春雷;宋骞;于佳萍 | 申请(专利权)人: | 抖音视界有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/28;G06F16/242 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 曹寒梅 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 可读 介质 电子设备 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
获取导入数据,所述导入数据中包括用户ID以及所述用户ID对应的标签数据;
为所述用户ID分配目标数据节点;
通过所述标签数据中的各个标签,在所述目标数据节点中分别对应的第一位图,对所述导入数据进行存储,所述第一位图中能够存储64位长整型数据;
其中,所述第一位图中包括映射表,所述映射表用于存储关键字和所述关键字的值,所述64位长整型数据中的前32位数据作为所述映射表的关键字,后32位数据作为所述关键字的值,所述关键字的值保存在支持32位整型数据的第二位图中。
2.根据权利要求1所述的方法,其特征在于,所述为所述用户ID分配目标数据节点包括:
对所述用户ID进行第一哈希计算得到第一ID,确定所述第一ID除以数据节点总数之后得到的余数,并根据所述余数确定为所述用户ID分配的所述目标数据节点。
3.根据权利要求2所述的方法,其特征在于,所述为所述用户ID分配目标数据节点还包括:
对所述用户ID进行第二哈希计算得到第二ID,根据所述第二ID确定所述用户ID所要被分配至的所述目标数据节点中的目标分区;
所述通过所述标签数据中的各个标签,在所述目标数据节点中分别对应的第一位图,对所述导入数据进行存储包括:
通过所述标签数据中的各个标签,在所述目标分区中分别对应的第一位图,对所述导入数据进行存储。
4.根据权利要求1所述的方法,其特征在于,所述通过所述标签数据中的各个标签,在所述目标数据节点中分别对应的第一位图,对所述导入数据进行存储包括:
根据所述目标数据节点中已存储的用户ID数量确定目标编码范围,并将被所述用户ID重新编码为第二ID,所述第二ID在所述目标编码范围内,保存所述用户ID与所述第二ID之间的一对一映射关系,所述第二ID为64位长整型数据,所述目标编码范围为前32位数据相同的232个相邻编码;
将所述第二ID导入各个标签分别对应的所述第一位图中。
5.根据权利要求4所述的方法,其特征在于,所述根据所述目标数据节点中已存储的用户ID数量确定目标编码范围包括:
将所述目标编码范围确定为(a·N+M)·232~(a·N+M+1)·232,其中,S为所述目标数据节点中已存储的用户ID数量,为向下取整运算符号,N为数据节点总数,M为所述目标数据节点的序号。
6.根据权利要求1所述的方法,其特征在于,在所述通过所述标签数据中的各个标签,在所述目标数据节点中分别对应的第一位图,对所述导入数据进行存储之前,所述方法还包括:
判断所述标签数据中的所述标签在所述目标数据节点中是否存在对应的所述第一位图;
若所述标签数据中的所述标签在所述目标数据节点中不存在对应的所述第一位图,在所述目标数据节点中创建与所述标签数据中的所述标签对应的所述第一位图。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收查询指令,所述查询指令中包括多个子查询条件和所述多个子查询条件之间的逻辑运算指令;
根据所述多个子查询条件分别获取多组用户数据,并根据所述逻辑运算指令对所述多组用户数据进行计算,以得到目标数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于抖音视界有限公司,未经抖音视界有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110336511.0/1.html,转载请声明来源钻瓜专利网。