[发明专利]计算节点的数据遍历方法、装置及计算节点在审
申请号: | 201810340710.7 | 申请日: | 2018-04-16 |
公开(公告)号: | CN110399394A | 公开(公告)日: | 2019-11-01 |
发明(设计)人: | 李玥;何小锋;刘海锋 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/22;G06F16/27 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 吕雁葭 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 计算节点 分片信息 数据分片 读取 数据遍历 遍历 存储 遍历操作 数据存储 并行 | ||
1.一种计算节点的数据遍历方法,所述数据存储在多个数据分片中,所述方法包括:
获取多个分片信息,每一个分片信息对应一个数据分片;以及
与至少一个其他计算节点并行地基于所述多个分片信息执行读取-遍历操作,以遍历读取所述多个分片信息对应的数据分片存储的数据,
其中,不同的计算节点遍历读取不同的数据分片存储的数据。
2.根据权利要求1所述的方法,还包括:
将所述多个分片信息写入预设的存储空间;
所述读取-遍历操作包括:
自所述预设的存储空间读取多个分片信息中的一个分片信息;以及
基于读取的所述分片信息,遍历读取所述分片信息对应的数据分片存储的数据。
3.根据权利要求2所述的方法,其中,多个所述数据分片存储在存储集群的多个存储节点上,每个存储节点存储有一个或多个所述数据分片,所述方法还包括:
获取多个所述数据分片的存储节点信息;
将所述多个分片信息写入预设的存储空间包括:
基于预设的分配规则及所述存储节点信息,将所述多个分片信息均匀排列,以使具有相同存储节点信息的不同数据分片的分片信息间隔排列;以及
将均匀排列的所述多个分片信息顺序写入预设的存储空间;
自所述预设的存储空间读取多个分片信息中的一个分片信息包括:
自均匀排列的所述多个分片信息中顺序读取一个分片信息。
4.根据权利要求2所述的方法,其中,所述读取-遍历操作还包括:
在自所述预设的存储空间读取了多个分片信息中的一个分片信息的情况下,将读取的所述分片信息由第一状态置为第二状态;以及
在遍历读取完所述分片信息对应的数据分片存储的数据的情况下,将所述分片信息由第二状态置为第三状态;
其中,所述分片信息的第一状态表示所述分片信息能够被所述计算节点或至少一个其他计算节点读取;所述分片信息的第二状态表示所述分片信息已被读取,不能够再被读取;所述分片信息的第三状态表示所述分片信息对应的数据分片存储的数据已被遍历读取完,该分片信息不能够再被读取。
5.根据权利要求4所述的方法,还包括:
判断自所述预设的存储空间读取了多个分片信息中的一个分片信息的其他计算节点是否为故障节点;以及
在所述其他计算节点为故障节点的情况下,将该故障节点读取的所述分片信息由第二状态置为第一状态,以供所述计算节点或除该故障节点外的至少一个其他计算节点读取。
6.根据权利要求4所述的方法,还包括:
判断所述多个分片信息是否均处于第三状态;
在存在不处于第三状态的分片信息的情况下,间隔预设时间后返回重新判断;
在所述多个分片信息均处于第三状态的情况下,完成所述数据的遍历。
7.根据权利要求1所述的方法,其中:
所述计算节点由所述计算节点及至少一个其他计算节点采用预设的选举规则选举得到;并且/或者
在所述多个分片信息的数量大于所述计算节点和至少一个其他计算节点的节点总数的情况下,由所述计算节点和/或至少一个其他计算节点循环执行所述读取-遍历操作,以使所述多个分片信息对应的数据分片存储的数据均被遍历读取。
8.一种计算节点的数据遍历方法,所述数据存储在多个数据分片中,所述方法包括:
与至少一个其他计算节点并行地基于多个分片信息执行读取-遍历操作,以遍历读取所述多个分片信息对应的数据分片存储的数据,
其中,所述多个分片信息由至少一个其他计算节点中的一个计算节点预先获取,每一个分片信息对应一个数据分片,不同的计算节点遍历读取不同的数据分片存储的数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810340710.7/1.html,转载请声明来源钻瓜专利网。