[发明专利]数据分离存储方法、装置、计算机设备和存储介质有效
申请号: | 201910924306.9 | 申请日: | 2019-09-27 |
公开(公告)号: | CN110795427B | 公开(公告)日: | 2022-10-11 |
发明(设计)人: | 杨念磊;叶国华;司孝波;杨盈;李钥珑 | 申请(专利权)人: | 苏宁云计算有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/21;G06F16/2458;G06F16/25 |
代理公司: | 北京市万慧达律师事务所 11111 | 代理人: | 刘艳丽 |
地址: | 210000 江苏省南*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 分离 存储 方法 装置 计算机 设备 介质 | ||
本申请涉及一种数据分离存储方法、装置、计算机设备和存储介质。所述方法包括:获取目标用户的各条用户数据;分别确定所述目标用户的各条用户数据的生成时间所处周期;根据各所述生成时间所处周期,将所述目标用户的各条用户数据分离存储到多个数据库中。采用本方法能够实现冷热数据分离,且能简化计算方式,并能够避免新生成数据分离存储的滞后性。
技术领域
本申请涉及数据存储技术领域,特别是涉及一种数据分离存储方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术和互联网技术的迅速发展,用户可以很容易地接入互联网,并通过与互联网上的服务器进行业务交互,获得服务器提供的各类服务。服务器可以为多个不同的用户提供服务,并针对每个用户,保存该用户的用户数据。对于一些服务器的一些用户,其用户数据的数据条数往往会较多,使得总的数据量过大,针对数据量大的数据往往需要进行数据拆分。
传统的用户数据的数据拆分方案是按照用户维度分库分表,将所有用户的用户数据拆分到多个数据库。当数据增长到数据库的限制容量后,需要将现有数据库拆分,一分为二,例如A数据库拆分为A1数据库和A2数据库,然后再将A1数据库和A2数据库中多余的数据删除。然而,同一用户的所有用户数据仍存在一起,大量的冷数据存在,会造成热点数据的存储和查询耗时增加,影响了热点数据的使用。因此,对冷热数据的有效处理和存储愈发重要。
传统的冷热数据分离方式是基于数据的热度值进行分离,其热度值的计算需要考虑访问开始时间、访问结束时间、访问量和单位时间长度等多种因素,不但计算方式较复杂,而且由于需要用到访问量,仅适合对有访问量的历史数据的分离,不适合对新生成数据的数据直接分离,新生成数据分离存储具有滞后性。
发明内容
基于此,有必要针对上述技术问题,提供一种能够实现冷热数据分离,且能简化计算方式,并能够避免新生成数据分离存储滞后性的数据分离存储方法、装置、计算机设备和存储介质。
一种数据分离存储方法,所述方法包括:获取目标用户的各条用户数据;分别确定目标用户的各条用户数据的生成时间所处周期;根据各生成时间所处周期,将目标用户的各条用户数据分离存储到多个数据库中。
在一个实施例中,上述的方法还包括:请求为目标用户分配当前周期数据库、历史数据库、第一数据库和第二数据库;上述的根据各生成时间所处周期,将目标用户的各条用户数据分离存储到多个数据库中,包括:根据各生成时间所处周期,将目标用户的各条用户数据分离存储到当前周期数据库、历史数据库、第一数据库和第二数据库中;其中,当前周期数据库用于存储目标用户的生成时间所处周期为当前周期的用户数据,历史数据库用于存储目标用户的生成时间所处周期为历史周期的用户数据,第一数据库用于存储目标用户的生成时间所处周期为当前周期以及上一周期的用户数据,第二数据库用于存储目标用户的生成时间所处周期为当前周期以及下一周期的用户数据。
在一个实施例中,上述的目标用户的各条用户数据包括目标用户的新生成数据和各条历史数据;上述的根据各生成时间所处周期,将目标用户的各条用户数据分离存储到当前周期数据库、历史数据库、第一数据库和第二数据库中,包括:将目标用户的新生成数据分别存储到当前周期数据库、第一数据库和第二数据库中;按照目标用户的各条历史数据的生成时间所处周期,将目标用户的各条历史数据分离存储到当前周期数据库、历史数据库和第一数据库中。
在一个实施例中,上述的将目标用户的新生成数据分别存储到当前周期数据库、第一数据库和第二数据库中,包括:将目标用户的新生成数据写入当前周期数据库中;根据将目标用户的新生成数据写入当前周期数据库产生的操作日志,并通过异步方式将目标用户的新生成数据写入第一数据库和第二数据库中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏宁云计算有限公司,未经苏宁云计算有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910924306.9/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置