[发明专利]使用复制的任务结果管理计算集群在审
申请号: | 201880071520.8 | 申请日: | 2018-10-30 |
公开(公告)号: | CN111316241A | 公开(公告)日: | 2020-06-19 |
发明(设计)人: | 克雷格·W·斯坦菲尔;约瑟夫·S·沃利三世 | 申请(专利权)人: | 起元技术有限责任公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06F9/54 |
代理公司: | 北京林达刘知识产权代理事务所(普通合伙) 11277 | 代理人: | 刘新宇 |
地址: | 美国马*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 使用 复制 任务 结果 管理 计算 集群 | ||
1.一种用于在包括多个处理节点的分布式数据处理系统中处理任务的方法,该方法包括:
使用该多个处理节点中的两个或更多个处理节点来处理多个任务集,每个任务集被配置用于生成相应的结果集,并与多个时间间隔中的相应时间间隔相关联,
在该多个处理节点中的第一处理节点处维护多个计数器,该多个计数器包括:
工作计数器,该工作计数器在该分布式数据处理系统中指示该多个时间间隔中的当前时间间隔,以及
复制计数器,该复制计数器指示该多个时间间隔中的某个时间间隔,在该时间间隔内,在该多个处理节点中的数个处理节点处复制以下中的至少一个:(1)与该时间间隔相关联的所有任务以及(2)与该时间间隔相关联的所有相应结果,以及
从该第一处理节点向该多个处理节点中的其他处理节点提供消息,该消息包括该工作计数器和该复制计数器。
2.如权利要求1所述的方法,其中,该处理包括:在该多个处理节点中的主要处理节点处执行与至少一些任务相关联的计算,以及在该多个处理节点中的一个或多个备用处理节点处执行与该至少一些任务的复制品相关联的计算。
3.如权利要求1或2所述的方法,其中,在该主要处理节点处执行与第一任务相关联的计算包括在该主要处理节点处生成第一结果,并且在该备用处理节点处执行与该第一任务的复制品相关联的计算包括在该备用处理节点处生成该第一结果。
4.如权利要求1至3中任一项所述的方法,其中,在该主要处理节点处执行的与该第一任务相关联的计算和在该备用处理节点处执行的与该第一任务的复制品相关联的计算这两者都在提交操作之后开始,该提交操作指示该第一任务和该第一任务的复制品已被持久地存储。
5.如权利要求1至3中任一项所述的方法,其中,该第一结果包括已在该主要处理节点和该备用处理节点处复制的原始数据的修改后的版本。
6.如权利要求1至3中任一项所述的方法,其中,在该主要处理节点处执行的与该第一任务相关联的计算同在该备用处理节点处执行的与该第一任务的复制品相关联的计算相同。
7.如权利要求6所述的方法,其中,在该主要处理节点处执行的与该第一任务相关联的计算和在该备用处理节点处执行的与该第一任务的复制品相关联的计算是确定性的,并且不依赖于该数个处理节点中的哪一个来执行这些计算。
8.如权利要求2所述的方法,其中,该复制计数器指示该多个时间间隔中的某个时间间隔,在该时间间隔内,在该多个处理节点中的数个处理节点处复制与该时间间隔相关联的所有任务以及与该时间间隔相关联的所有相应结果。
9.如权利要求1至8中任一项所述的方法,其中,该处理包括:在该多个处理节点中的主要处理节点处执行与至少一些任务相关联的计算,而该任务的复制品在备用处理节点处保持休眠;以及从该主要处理节点向该备用处理节点发送与执行了计算的任务相对应的结果。
10.如权利要求9所述的方法,其中,在该主要处理节点处执行的与该第一任务相关联的计算包括生成第一结果,并且在该第一任务已在该主要处理节点处完成之后从该主要处理节点向该备用处理节点发送该第一结果。
11.如权利要求9或10所述的方法,其中,该第一结果包括已在该主要处理节点和该备用处理节点处复制的原始数据的修改后的版本。
12.如权利要求9所述的方法,其中,该复制计数器指示该多个时间间隔中的某个时间间隔,在该时间间隔内,在该多个处理节点中的数个处理节点处复制与该时间间隔相关联的所有任务以及与该时间间隔相关联的所有相应结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于起元技术有限责任公司,未经起元技术有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201880071520.8/1.html,转载请声明来源钻瓜专利网。