[发明专利]一种数据存储的检测方法、设备及分布式存储系统有效
申请号: | 201310683911.4 | 申请日: | 2013-12-13 |
公开(公告)号: | CN103744745B | 公开(公告)日: | 2018-05-29 |
发明(设计)人: | 王锋 | 申请(专利权)人: | 北京奇虎科技有限公司;奇智软件(北京)有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;H04L29/08 |
代理公司: | 北京元中知识产权代理有限责任公司 11223 | 代理人: | 王明霞 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式存储系统 副本 数据存储 扫描 检测 第一数据 发生故障 数据节点 存储 修复 保证 发现 | ||
1.一种数据存储的检测方法,所述方法包括:
对分布式存储系统中的第一数据节点中存储的各条数据进行扫描;
对于当前扫描到的数据,获取所述扫描到的数据存储在所述分布式存储系统的其余一个或多个第二数据节点中的副本,并在第一数据节点启动后,触发检测所述数据的各个副本是否发生故障。
2.根据权利要求1所述的方法,其中,对分布式存储系统中的第一数据节点中存储的各条数据进行扫描的步骤包括:
对记录所述第一数据节点中写入的每条数据的相关信息进行扫描,获取每条所述数据的相关信息,其中,所述相关信息包括:所述数据的数据标识、及存储所述数据的其余一个或多个副本的第二数据节点的标识信息。
3.根据权利要求1所述的方法,其中,获取所述扫描到的数据存储在所述分布式存储系统的其余一个或多个第二数据节点中的副本,并检测所述数据的各个副本是否发生故障的步骤包括:
获取所述第一数据节点中存储的所述数据,并获取所述数据的第一数据签名;
从存储所述数据的副本的其余所述一个或多个第二数据节点上分别读取所述数据的各个副本;
分别获取读取的各个所述副本的第二数据签名;
通过判断获取的所述第一数据签名和各个所述第二数据签名是否完全相同,检测所述数据的各个副本是否发生故障。
4.根据权利要求1-3中任一项所述的方法,其中,如果检测到所述数据的一个或多个副本发生故障,所述方法还包括:
将所述数据重新写入到存储发生故障的副本的数据节点。
5.根据权利要求1-3中任一项所述的方法,其中,所述方法还包括:
所述分布式存储系统中的一个接入节点接收到数据写入请求;
所述接入节点向所述分布式存储系统的N个数据节点发送副本写入请求,其中,N为大于1的整数;
在第一预定时间内,所述接入节点接收到所述N个数据节点中的n个数据节点返回的成功应答,确定所述请求写入的数据能够成功写入,等待所述N个数据节点中其余N-n个数据节点的成功应答,其中,n为大于0且小于N的整数;
在第二预定时间内,如果所述接入节点全部接收到所述N-n个数据节点返回的成功应答,则确定所述请求写入的数据的副本完整,否则,确定所述请求写入的数据的副本不完整,对所述请求写入的数据的副本进行修复。
6.一种数据存储的检测设备,所述设备包括:
扫描模块,用于对分布式存储系统中的第一数据节点中存储的各条数据进行扫描;
检测模块,用于对所述扫描模块当前扫描到的数据进行检测,获取扫描到的所述数据存储在所述分布式存储系统的其余一个或多个第二数据节点中的各个副本,并在第一数据节点启动后,触发检测所述数据的各个副本是否发生故障。
7.根据权利要求6所述的设备,所述检测模块包括:
读取模块,用于获取所述第一数据节点中存储的所述数据,以及从存储所述数据的副本的其余一个或多个第二数据节点上分别读取所述数据的各个副本;
获取模块,用于分别获取所述第一数据节点中存储的所述数据的第一数据签名,以及读取的各个所述副本的第二数据签名;
判断模块,用于判断获取的所述第一数据签名和各个所述第二数据签名是否完全相同,检测所述数据的各个副本是否发生故障。
8.根据权利要求6或7所述的设备,所述设备还包括:
写入模块,用于在所述检测模块检测到其中一个或多个副本发生故障时,将所述数据重新写入到存储发生故障的副本的数据节点。
9.一种分布式存储系统,其中,包括如权利要求6-8任一项所述的数据存储的检测设备。
10.根据权利要求9所述的系统,其中,所述系统还包括:接入节点,所述接入节点包括:
第一接收模块,用于接收数据写入请求;
发送模块,用于所述分布式存储系统的N个数据节点发送副本写入请求,其中,N为大于1的整数;
第二接收模块,用于接收所述N个数据节点返回的成功应答;
确定模块,用于在所述第二接收模块在第一预定时间内接收到所述N个数据节点中的n个数据节点返回的成功应答时,确定所述请求写入的数据能够成功写入,以及如果所述第二接收模块在第二预定时间内全部接收到所述N个数据节点中的其余N-n个数据节点返回的成功应答,则确定所述请求写入的数据的副本完整,否则,确定所述请求写入的数据的副本不完整,对所述请求写入的数据的副本进行修复。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司;奇智软件(北京)有限公司,未经北京奇虎科技有限公司;奇智软件(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310683911.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种瓶类工件自动上料组装设备
- 下一篇:歧化松香造片机的破碎机构