[发明专利]数据存储方法和装置有效
申请号: | 202010106307.5 | 申请日: | 2020-02-21 |
公开(公告)号: | CN111338834B | 公开(公告)日: | 2023-06-30 |
发明(设计)人: | 席涛;段立国 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F11/07 | 分类号: | G06F11/07;G06F9/54;G06F16/22;G06F16/28;G06F16/23;G06F16/27 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 存储 方法 装置 | ||
本申请实施例公开了数据存储方法和装置。该方法的一具体实施方式包括:获取目标终端设备发送的数据,生成该数据的元数据;向键值数据集存储该元数据,并向关系型数据集存储该元数据;若确定该元数据在该键值数据集和该关系型数据集中任一者的存储发生故障,则将向该者存储的元数据,向预设的消息队列存储。本申请实施例可以引入消息队列实现临时的存储功能,替代发生存储故障的数据集向终端设备提供服务,从而确保终端设备与服务器之间的正常交互,提高了云端服务的安全性。并且,本申请实施例无需使用备份设备,从而无需修改数据的读取流程,这样,在提高云端服务的稳定性的同时,可以避免备份设备带来的成本消耗。
技术领域
本申请实施例涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及数据存储方法和装置。
背景技术
随着互联网技术的发展,每天都会产生海量的网络数据。网络设备集群中的不同设备,可以实现不同的功能。然而,在昼夜不停运转中的网络设备,存在着出现宕机等故障的概率。一旦出现故障,可能会出现一台设备甚至多台设备无法提供服务的情况。
为了减小设备故障带来的影响,相关技术会预先设置用于数据备份的设备集群,但是,该集群往往使用率较低,且维护成本较高。
发明内容
本申请实施例提出了数据存储方法和装置。
第一方面,本申请实施例提供了一种数据存储方法,包括:获取目标终端设备发送的数据,生成数据的元数据;向键值数据集存储元数据,并向关系型数据集存储元数据;若确定元数据在键值数据集和关系型数据集中任一者的存储发生故障,则将向该者存储的元数据,向预设的消息队列存储,其中,消息队列中的元数据用于与终端设备进行交互。
在一些实施例中,键值数据集、关系型数据集,以及消息队列,存在于分布式设备集群中。
在一些实施例中,若确定元数据在键值数据集和关系型数据集中任一者的存储发生故障,则将向该者存储的元数据,向预设的消息队列存储,包括:若确定元数据在键值数据集的存储发生故障,同步将向键值数据集存储的元数据转换为二进制的元数据,得到第一二进制元数据,并向消息队列存储第一二进制元数据;或若确定元数据在关系型数据集的存储发生故障,同步将向关系型数据集存储的元数据转换为二进制的元数据,得到第二二进制元数据,并向消息队列存储第二二进制元数据。
在一些实施例中,向键值数据集存储元数据,并向关系型数据集存储元数据,包括:向键值数据集存储元数据;响应于向键值数据集存储元数据成功,向关系型数据集存储元数据;其中,键值数据集、关系型数据集,以及消息队列均存在至少一个数据备份。
在一些实施例中,方法还包括:响应于确定向消息队列存储元数据成功,将向消息队列存储的元数据写入分布式缓存区;响应于接收到终端设备的数据请求,在分布式缓存区中查找数据请求对应的元数据,基于查找到的元数据向该终端设备进行反馈;响应于接收到终端设备的数据请求,在分布式缓存区中查找数据请求对应的元数据,若未查找到,在消息队列中查找数据请求对应的元数据,基于在消息队列中查找到的元数据向该终端设备进行反馈。
在一些实施例中,方法还包括:响应于监听到消息队列中加入了新的元数据,利用退避算法,向发生故障的数据集异步存储新的元数据,其中,异步存储成功时,发生故障的数据集已恢复存储功能。
在一些实施例中,在向发生故障的数据集异步存储消息队列中的元数据之后,方法还包括:对键值数据集和关系型数据集,进行元数据的一致性校验;若校验结果为不一致,将关系型数据集中的元数据,更新为键值数据集中的元数据。
第二方面,本申请实施例提供了一种数据存储装置,包括:获取单元,被配置成获取目标终端设备发送的数据,生成数据的元数据;存储单元,被配置成向键值数据集存储元数据,并向关系型数据集存储元数据;队列加入单元,被配置成若确定元数据在键值数据集和关系型数据集中任一者的存储发生故障,则将向该者存储的元数据,向预设的消息队列存储,其中,消息队列中的元数据用于与终端设备进行交互。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010106307.5/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置