[发明专利]数据处理方法及数据处理装置在审
申请号: | 202210823886.4 | 申请日: | 2022-07-13 |
公开(公告)号: | CN115167773A | 公开(公告)日: | 2022-10-11 |
发明(设计)人: | 谭乃星 | 申请(专利权)人: | 谭乃星 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100052 北京市西城*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 | ||
1.一种数据处理方法,其特征在于,包括:
确定待处理数据的类型,其中,所述待处理数据的类型包括业务数据和系统数据;
在所述待处理数据为所述业务数据时,将所述业务数据的正本存储到N个节点中的任意一个节点,并将所述业务数据的副本分成N-1个数据块,以及将N-1个数据块分别存储到剩余N-1个节点,其中,N>2,且为整数;
在所述待处理数据为所述系统数据时,将所述系统数据分成M个数据块,并将M个数据块的正本分别存储到M个节点,以及将M个数据块中的每个数据块分为X组,并将每组数据的多个副本存储到除了存储该组数据正本的节点以外的多个节点,且每组数据中最小存储单位数据对应的副本存储在不同的节点,其中,X>1,2<M≤N,且X、M均为整数。
2.根据权利要求1所述的数据处理方法,其特征在于,在将所述业务数据的正本存储到N个节点中的任意一个节点之前,所述方法还包括:
对N个节点的剩余存储容量进行排序;
根据排序结果确定N个节点中满足所述业务数据的正本存储需求的节点,以便从满足所述业务数据的正本存储需求的节点中选取一个节点存储所述业务数据的正本。
3.根据权利要求2所述的数据处理方法,其特征在于,从满足所述业务数据的正本存储需求的节点中选取一个节点存储所述业务数据的正本,包括:
从满足所述业务数据的正本存储需求的节点中选取最大剩余存储容量节点;
将所述业务数据的正本存储到所述最大剩余存储容量节点。
4.根据权利要求2所述的数据处理方法,其特征在于,在根据排序结果确定N个节点均不满足所述业务数据的正本存储需求时,所述方法还包括:
将所述业务数据分成M个数据块,并将M个数据块的正本分别存储到M个节点,以及将M个数据块中的每个数据块分为X组,并将每组数据的多个副本存储到除了存储该组数据正本的节点以外的多个节点,且每组数据中最小存储单位数据对应的副本存储在不同的节点。
5.根据权利要求1-4中任一项所述的数据处理方法,其特征在于,在将所述系统数据分成M个数据块之前,所述方法还包括:
确定N个节点的总剩余存储容量;
在所述总剩余存储容量小于第一预设容量阈值时,确定N个节点中的最大剩余存储容量节点,并在所述最大剩余存储容量节点满足所述系统数据的正本存储需求时,将所述系统数据的正本存储到所述最大剩余存储容量节点,并将所述系统数据的副本分成N-1个数据块,以及将N-1个数据块分别存储到剩余N-1个节点。
6.根据权利要求5所述的数据处理方法,其特征在于,在所述总剩余存储容量小于第二预设容量阈值时,所述方法还包括:
对N个节点中的至少部分节点存储的业务数据的副本进行删除,其中,所述第二预设容量阈值小于所述第一预设容量阈值。
7.根据权利要求1-4中任一项所述的数据处理方法,其特征在于,所述业务数据的数据量远大于所述系统数据的数据量。
8.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的数据处理程序,所述处理器执行所述数据处理程序时,实现根据权利要求1-7中任一项所述的数据处理方法。
9.一种计算机可读存储介质,其特征在于,其上存储有数据处理程序,该数据处理程序被处理器执行时实现根据权利要求1-7中任一项所述的数据处理方法。
10.一种数据处理装置,其特征在于,包括:
确定模块,用于确定待处理数据的类型,其中,所述待处理数据的类型包括业务数据和系统数据;
存储控制模块,用于在所述待处理数据为所述业务数据时,将所述业务数据的正本存储到N个节点中的任意一个节点,并将所述业务数据的副本分成N-1个数据块,以及将N-1个数据块分别存储到剩余N-1个节点,其中,N>2,且为整数;
所述存储控制模块还用于,在所述待处理数据为所述系统数据时,将所述系统数据分成M个数据块,并将M个数据块的正本分别存储到M个节点,以及将M个数据块中的每个数据块分为X组,并将每组数据的多个副本存储到除了存储该组数据正本的节点以外的多个节点,且每组数据中最小存储单位数据对应的副本存储在不同的节点,其中,X>1,2<M≤N,且X、M均为整数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于谭乃星,未经谭乃星许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210823886.4/1.html,转载请声明来源钻瓜专利网。