[发明专利]使用耐久性等级指示符管理计算集群

说明书

一种用于管理包括多个处理节点的分布式数据处理系统中的数据的方法包括将数据单元存储在与多个不同耐久性等级相关联的数据存储装置中。该方法包括维护指示符，这些指示符包括与第一耐久性等级相关联的第一指示符和与第二耐久性等级相关联的第二指示符。维护该第一指示符以反映这样的时间间隔，在该时间间隔处，与该时间间隔相关联的所有数据单元集均以该第一耐久性等级被存储。维护该第二指示符以反映这样的时间间隔，在该时间间隔处，与该时间间隔相关联的所有数据单元集均以该第二耐久性等级被存储。该第一指示符和该第二指示符用于管理对该分布式数据处理系统中的数据单元的处理。

相关申请的交叉引用

本申请要求于2017年10月31日提交的美国申请序列号62/579,225的优先权，该美国申请通过引用并入本文。

背景技术

本说明书涉及管理计算集群。

数据流计算的一种方法利用了基于图的表示，其中，与图的节点(顶点)相对应的计算组件通过与该图(称为“数据流图”)的链路(有向边)相对应的数据流耦接。通过数据流链路连接到上游组件的下游组件接收有序的输入数据元素流，并按接收到的顺序处理输入数据元素，以可选地生成一个或多个相应的输出数据元素流。在名称为“EXECUTINGCOMPUTATIONS EXPRESSED AS GRAPHS(执行表示为图的计算)”的在先美国专利5,966,072中描述了一种用于执行此类基于图的计算的系统，该专利通过引用并入本文。在与该在先专利中描述的方法有关的实施方式中，每个组件被实施为托管在多个典型计算机服务器之一上的进程。每个计算机服务器可以在任何一个时间激活多个此类组件进程，并且操作系统(例如，Unix)调度程序在该服务器上托管的组件之间共享资源(例如，处理器时间和/或处理器核)。在这种实施方式中，可以使用操作系统和连接服务器的数据网络的数据通信服务(例如，命名管道、TCP/IP会话等)来实施组件之间的数据流。组件的子集通常用作整个计算(例如，去往和/或来自数据文件、数据库表和外部数据流)的数据源和/或数据接收器。在例如通过协作进程建立了组件进程和数据流之后，数据便流经整个计算系统，该计算系统实施表示为图的计算，该计算通常受每个组件处输入数据的可用性和每个组件的计算资源的调度的支配。因此，至少可以通过使不同的组件能够由不同的进程(托管在相同或不同的服务器计算机或处理器核上)并行执行来实现并行性，其中，在本文中通过数据流图在不同路径上并行执行不同组件称为组件并行性，并且在本文中通过数据流图在同一路径的不同部分上并行执行不同组件称为流水线并行性。

这种方法还支持其他形式的并行性。例如，可以例如根据数据集的记录中字段的值的分区来划分输入数据集，其中，每个部分被发送到组件中处理该数据集的记录的单独副本。组件的此类单独副本(或“实例”)可以在单独服务器计算机或服务器计算机的单独处理器核上执行，从而实现本文所称的数据并行性。单独组件的结果可以合并以再次形成单个数据流或数据集。用于执行组件的实例的计算机或处理器核的数量将在开发数据流图时由开发者指定。

可以使用各种方法来提高这种方法的效率。例如，组件的每个实例不一定必须托管在其自己的操作系统进程中，例如，使用一个操作系统进程来实施多个组件(例如，形成较大图的连接子图的组件)。

上述方法的至少一些实施方式受到与在基础计算机服务器上执行所产生进程的效率有关的限制。例如，这些限制可能与重新配置图的运行实例以更改数据并行性程度、更改托管各种组件的服务器和/或平衡不同计算资源上的负荷的困难有关。现有的基于图的计算系统还具有启动时间慢的问题，这通常是因为不必要地启动了太多的进程而浪费了大量的内存。一般而言，进程从图执行的启动开始，并且到图执行完成时结束。