[发明专利]用于存储数据的方法、装置、服务器和介质有效
申请号: | 201911395206.8 | 申请日: | 2019-12-30 |
公开(公告)号: | CN113127438B | 公开(公告)日: | 2023-07-28 |
发明(设计)人: | 施黄骏 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/22 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 存储 数据 方法 装置 服务器 介质 | ||
本公开的实施例公开了用于存储数据的方法、装置、服务器和介质,涉及云计算领域。本公开的一具体实施例包括:响应于扩容策略被触发,确定扩容后用户数据的迁移位置,其中,扩容后的用户数据包括已存入原始位置的历史数据和待存入的新增数据;启动将新增数据向原始位置的存入以及迁移源端数据向迁移位置的存入,其中,迁移源端数据为存储于原始位置中的数据;响应于迁移源端数据的存入进度和新增数据的存入进度相同,将未存入的新增数据的存储位置更新为迁移位置。通过同时启动新增数据向原始位置的存入和迁移源端数据向迁移位置的写入,在存入数据的过程中,用户可以正常操作原始位置中的数据,从而在不影响用户操作的前提下,实现了动态扩容。
技术领域
本公开的实施例涉及云计算技术领域,具体涉及用于存储数据的方法、装置、服务器和介质。
背景技术
在云数据存储领域,为了应对海量数据的存储和处理,一般采用分库分表或是联邦的方案。但由于这两种方案都没有考虑到数据的变化过程,当用户数据增长规模与预期不符的时候,就会导致相关技术中存在如下缺陷:一方面在无法预知用户数据大小的情况下,使用固定的Hash、分表或分库方案,会导致数据倾斜、部分表过大的情况,从而影响服务器的性能。另一方面,当某个用户体量较大,成为热点的时候,无法实现无损地扩容,且期间内的停写时间与用户体量直接相关,越大用户的停写时间将会越长,造成资源浪费。
发明内容
本公开的实施例提出了用于存储数据的方法和装置。
第一方面,本公开的实施例提供了一种用于存储数据的方法,该方法包括:响应于扩容策略被触发,确定扩容后用户数据的分布位置为迁移位置,其中,扩容后的用户数据包括已存入原始位置的历史数据和待存入的新增数据;启动新增数据向原始位置的存入以及迁移源端数据向迁移位置的存入,其中,迁移源端数据为存储于原始位置中的数据;响应于迁移源端数据的存入进度和新增数据的存入进度相同,将未存入的新增数据的存储位置更新为迁移位置。
在一些实施例中,该方法还包括:响应于扩容策略被触发,确定与扩容后的用户数据对应的元数据为动态迁移元数据,动态迁移元数据包括previous信息元数据,previous信息元数据用于表征原始位置;并在确定扩容后用户数据的分布位置为迁移位置之后,对动态迁移元数据执行如下操作:将type元数据的类型设置为迁移中,用于表征用户数据处于迁移状态;增加extend信息元数据,用于表征迁移位置。
在一些实施例中,在将原始位置中的数据确定为迁移源端数据之前,方法还包括:基于extend信息元数据,更新历史数据,使得历史数据中包括迁移位置。
在一些实施例中,该方法还包括:响应于新增数据全部存入迁移位置,执行如下操作:将type元数据类型更新为正常,以表征用户数据处于正常状态;将previous元数据中的内容替换为extend信息元数据中的内容;删除extend信息元数据。
在一些实施例中,该方法还包括:响应于缩容策略被触发,确定缩容后的多个用户数据的分布位置为迁移位置,缩容后的多个用户的数据包括已存入原始位置的多个用户的数据;启动迁移源端数据向迁移位置的存入,其中,迁移源端数据为存储于原始位置中的数据。
第二方面,本公开的实施例提供一种用于存储数据的装置,该装置包括:触发单元,被配置成响应于扩容策略被触发,确定扩容后用户数据的分布位置为迁移位置,其中,扩容后的用户数据包括已存入原始位置的历史数据和待存入的新增数据;存储单元,被配置成启动新增数据向原始位置的存入以及迁移源端数据向迁移位置的存入,其中,迁移源端数据为存储于原始位置中的数据;位置更新单元,被配置成响应于迁移源端数据的存入进度和新增数据的存入进度相同,将未存入的新增数据的存储位置更新为迁移位置。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911395206.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种空调用马达支架零件的模具
- 下一篇:电动阀
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置