[发明专利]操作者状态检查点

说明书

背景

许多数据流系统具有将其状态保存在易失性存储器中的各个处理单元（操作者），该易失性存储器在故障或计划关闭时可能丢失信息。操作者可以是能够在系统中彼此传递数据项的各种不同种类的操作者中的任一种（例如，程序、程序组件、虚拟机、物理机等）。数据项是将由操作者处理的数据单元，但数据项可以是各种不同形式中的任一种。例如，此处讨论的数据项可以是事件。一个或多个输入模块或组件可以向数据流系统提供输入，并且一个或多个输出模块或组件（宿）可以从数据流系统接收输出。一些数据流系统处理连续查询。在这类查询的情况下，状态可表示已经在长时间段内处理的数据项的结果。

概述

一些数据流系统中的操作者状态丢失可具有严重后果，尤其是在该状态表示在延长的时间段内收集到并处理的信息的情况下。以下描述的工具和技术涉及保存检查点信息并使用这类检查点信息来还原操作者状态。如此处所使用的，关于操作者的检查点信息表示该操作者在某一时刻的状态。然而，检查点信息可以按各种不同的方式中的任一种来表示状态。例如，检查点信息可包括来自操作者的数据结构和/或将由操作者处理和/或已经由操作者处理的数据项的表示。这些表示能够以各种方式做出，诸如数据项和/或数据结构的副本、对数据项和/或数据结构的已存储版本的引用、当前数据项和/或数据结构和过去数据项和/或数据结构之间的差别（增量）等。检查点信息可被保存到持久（非易失性）存储或以某种其它方式进行保存，以保持检查点信息安全。例如，检查点信息可被保存到与从其获取检查点信息的系统分开的系统上的易失性存储器。

在一个实施例中，各种工具和技术可包括在第一操作者处接收检查点标记。检查点标记是请求操作者向检查点写入者发送状态检查点信息的数据单元。检查点标记可以是各种不同的形式中的任一种。第一操作者可通过将检查点标记发送到第二操作者并将表示该第一操作者的状态的状态检查点信息发送到检查点写入者来处理该检查点标记。

在各种工具和技术的另一实施例中，可以在操作者的检查点信息输入队列处从读取者接收检查点信息。可使用该检查点信息来还原操作者的状态。对操作者的数据输入队列中的信息的处理可以在使用检查点信息来还原操作者的状态时被挂起，这可将操作者状态带回到从该操作者获取该检查点信息时的操作者状态。

提供本概述是为了以简化的形式介绍一些概念。这些概念将在以下详细描述中进一步描述。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。类似地，本发明不限于解决在背景、详细描述、或附图中讨论的专用技术、工具、环境、缺点、或优点的实现。

附图简述

图1是其中可实现所描述的各实施例中的一个或多个实施例的合适的计算环境的框图。

图2是操作者状态检查点环境的示意图。

图3是操作者状态检查点技术的流程图。

图4是另一种操作者状态检查点技术的流程图。

图5是又一种操作者状态检查点技术的流程图。

详细描述

本文描述的各实施例涉及用于改进操作者状态的维护和恢复的技术和工具。这样的改进可源于分开或组合地使用各种技术和工具。

这样的技术和工具可包括数据流系统中的用于请求各个操作者为其当前主（易失性）存储器状态设置检查点的协议。该协议可被设计成使得操作者能够彼此同时为其状态设置检查点。这些工具和技术还可包括用于在系统故障后从最后的完整检查点还原操作者状态的协议。这可将操作者的状态带回到为其状态设置检查点时的状态。

因此，此处讨论的工具和技术可限制系统故障或故意的系统关闭时的状态信息的丢失。这可以用减少对系统的常规处理的影响的技术来完成。例如，彼此并行地在不同的操作者中执行检查点操作可减少为整个数据流系统完成检查点的时间并减少设置检查点对常规处理的影响。所附权利要求中定义的主题不必限于本文描述的益处。本发明的专用实现可提供本文描述的益处的全部、一些、或未提供本文描述的益处。尽管本文出于呈现的目的以专用的顺序次序描述了用于各种技术的操作，但应理解除非要求专用的排序，否则这种描述方式涵盖了操作顺序上的重新安排。例如，在某些情况下，可以重新安排或并发执行顺序地描述的操作。此外，为了简单起见，流程图可能未示出可结合其他技术来使用专用技术的各种方式。