[发明专利]使用耐久性等级指示符管理计算集群

权利要求书

1.一种用于管理包括多个处理节点的分布式数据处理系统中的数据的方法，该方法包括：

维护该系统中的多个数据存储装置，该多个数据存储装置中的每个数据存储装置与该多个处理节点中的相应处理节点相关联，并与多个耐久性等级中的某个耐久性等级相关联，该多个耐久性等级包括第一耐久性等级和第二耐久性等级，该第二耐久性等级具有比该第一耐久性等级相对更大的耐久性程度；

使用该多个处理节点中的两个或更多个处理节点来处理多个数据单元集，每个数据单元集中的每个数据单元与多个时间间隔中的相应时间间隔相关联，该多个数据单元集包括与该多个时间间隔中的第一时间间隔相关联的第一数据单元集，该处理包括：

针对该第一数据单元集中的每个数据单元，将该数据单元存储在该多个数据存储装置中的与该多个处理节点中的两个或更多个处理节点相关联的数据存储装置中，该存储包括将该数据单元存储在该多个数据存储装置中的与该第一耐久性等级相关联的数据存储装置中以及将该数据单元存储在该多个数据存储装置中的与该第二耐久性等级相关联的一个或多个数据存储装置中；

在将该第一数据单元集中的所有数据单元成功地存储在与该第一耐久性等级相关联的数据存储装置中之后，更新与该多个耐久性等级中的第一耐久性等级相关联的第一指示符，以指示与该第一时间间隔相关联的所有数据单元集均以该第一耐久性等级被存储；以及

在将该第一数据单元集中的所有数据单元成功地存储在与该第二耐久性等级相关联的至少一个数据存储装置中之后，更新与该多个耐久性等级中的第二耐久性等级相关联的第二指示符，以指示与该第一时间间隔相关联的所有数据单元集均以该第二耐久性等级被存储。

2.如权利要求1所述的方法，其中，具有该第一耐久性等级的数据存储装置包括易失性存储介质。

3.如权利要求1或2所述的方法，其中，具有该第二耐久性等级的数据存储装置包括持久性存储介质。

4.如权利要求1至3中任一项所述的方法，其中，该第一数据单元集满足该第一耐久性等级在该第一数据单元集满足该第二耐久性等级之前。

5.如权利要求1至4中任一项所述的方法，其中，该多个耐久性等级包括具有比该第二耐久性等级相对更大的耐久性的第三耐久性等级。

6.如权利要求5所述的方法，进一步包括：在将该第一数据单元集中的所有数据单元成功地存储在与该第三耐久性等级相关联的至少一个数据存储装置中之后，更新与该多个耐久性等级中的第三耐久性等级相关联的第三指示符，以指示与该第一时间间隔相关联的所有数据单元集均以该第三耐久性等级被存储。

7.如权利要求5所述的方法，其中，具有该第三耐久性等级的数据存储装置包括在该分布式数据处理系统外部的持久性存储介质。

8.如权利要求5所述的方法，其中，该第一数据单元集满足该第一耐久性等级在该第一数据单元集满足该第二耐久性等级之前，并且该第一数据单元集满足该第二耐久性等级在该第一数据单元集满足该第一耐久性等级之前。

9.如权利要求1至8中任一项所述的方法，其中，该数据单元包括数据处理任务。

10.如权利要求9所述的方法，其中，该数据单元包括由该数据处理任务生成的结果。

11.如权利要求1至10中任一项所述的方法，其中，该数据单元包括处理节点间消息。

12.如权利要求1至11中任一项所述的方法，其中，该数据单元包括数据记录。

13.一种以非暂态形式存储在计算机可读介质上的软件，该软件用于管理包括多个处理节点的分布式数据处理系统中的数据，该软件包括用于使计算系统执行权利要求1至12中任一项所述的所有步骤的指令。