[发明专利]标签数据存储方法、计算机装置和存储介质在审
申请号: | 202011171236.3 | 申请日: | 2020-10-28 |
公开(公告)号: | CN112347101A | 公开(公告)日: | 2021-02-09 |
发明(设计)人: | 王宏军;郑坚财;徐永潮;蒙赞龙 | 申请(专利权)人: | 北京北明数科信息技术有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22 |
代理公司: | 广州嘉权专利商标事务所有限公司 44205 | 代理人: | 常柯阳 |
地址: | 100144 北京市石景山*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 标签 数据 存储 方法 计算机 装置 介质 | ||
本发明公开了一种标签数据存储方法、计算机装置和存储介质,标签数据存储方法包括获取标签数据对应的位图数据,将位图数据存储到基于roaringbitmap的数据库中等步骤。本发明使用基于roaringbitmap的数据库存储与标签数据对应的位图数据,从而实现存储标签数据。由于一个桶中只需存储位图数据中的部分数据位,即可实现对位图数据的存储,也就是实现对标签数据的存储,因此可以节约存储空间,在相同性能表现的情况下可以降低存储成本。本发明广泛应用于数据存储技术领域。
技术领域
本发明涉及数据存储技术领域,尤其是一种标签数据存储方法、计算机装置和存储介质。
背景技术
在用户行为分析和人工智能学习等领域,需要使用和存储标签数据,例如用户行为分析中用于标记用户画像的性别、年龄、城市和近日活跃时长等数据属于统计类标签,用户行为分析中根据“近30天交易次数≥2”定义“消费活跃”等数据属于规则类标签,人工智能学习中通过数据挖掘产生的数据,例如根据用户的消费习惯判断其对某商品的偏好程度等数据属于机器学习挖掘类标签。在用户行为分析和人工智能学习等领域,需要使用大量的标签数据,为存储这些标签数据将需要大量的存储空间。如果使用能够节约存储空间的存储技术去存储这些标签数据,可以减少对存储空间的占用,从而在相同性能效果的情况下降低对存储空间的要求,尤其在标签数据数量巨大时能够取得非常明显的成本节约效果。
发明内容
针对上述至少一个技术问题,本发明的目的在于提供一种标签数据存储方法、计算机装置和存储介质。
一方面,本发明实施例包括一种标签数据存储方法,包括:
获取所述标签数据对应的位图数据;
将所述位图数据存储到基于roaringbitmap的数据库中。
进一步地,所述将所述位图数据存储到基于roaringbitmap的数据库中,包括:
获取基于roaringbitmap的数据库;所述数据库中包括多个桶;
若所述数据库中存在第一桶,所述第一桶的地址与所述位图数据的第一部分数据位对应,将所述位图数据的第二部分数据位存储到所述第一桶,反之,则创建所述第一桶,将所述第二部分数据位存储到所述第一桶。
进一步地,所述将所述位图数据存储到基于roaringbitmap的数据库中,还包括:
若所述数据库中存在第二桶,所述第二桶的地址与所述位图数据的第三部分数据位对应,所述第三部分数据位为所述位图数据中除了所述第一部分数据位和所述第二部分数据位之外的其他数据位,建立所述第一桶到所述第二桶的映射关系,反之,则创建所述第二桶,建立所述第一桶到所述第二桶的映射关系。
进一步地,所述将所述位图数据存储到基于roaringbitmap的数据库中,还包括:
当所述标签数据被扩充,获取所述位图数据中相应被扩充出的第四部分数据位,将所述第四部分数据位存储到所述第二桶。
进一步地,所述创建所述第一桶,包括:
当所述位图数据为元素,则将所述第一桶配置为数组桶;
当所述位图数据为元素序列,则分别确定第一空间占用和第二空间占用的大小,所述第一空间占用为所述第一桶被配置为数组桶的情况下将所述位图数据存储到所述第一桶所占用的空间,所述第二空间占用为所述第一桶被配置为执行桶的情况下将所述位图数据存储到所述第一桶所占用的空间,当所述第一空间占用小于所述第二空间占用,则将所述第一桶配置为数组桶,当所述第一空间占用大于所述第二空间占用,则将所述第一桶配置为执行桶。
进一步地,所述创建所述第一桶,还包括:
当所述第一桶的容量不超过容量阈值,则将所述第一桶配置为数组桶;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京北明数科信息技术有限公司,未经北京北明数科信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011171236.3/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置