[发明专利]基于分区的数据流处理框架

说明书

一种多租户流处理服务的控制节点接收请求，所述请求指示有待在特定的数据流的数据记录上执行的操作。基于流分区策略，所述控制节点确定有待使用的工作节点的初始数量。所述控制节点配置工作节点以在接收的数据上执行所述操作。响应于所述工作节点正处于不健康的状态中的确定，所述控制节点配置替换工作节点。

背景技术

由于多年来数据存储的成本已降低并且由于将计算机基础结构的各种元件互连的能力已改进，能够潜在地采集和分析与很多种应用程序有关的越来越多的数据。例如，移动电话可产生指示它们的地点、正在由电话用户使用的应用程序等的数据，可采集和分析所述数据中的至少一些来为用户呈现定制优惠券、广告等。由监控摄像机采集的数据的分析对于防止和/或解决犯罪可能是有用的，并且从在飞机引擎、汽车或复杂机械内嵌入在各种地点处的传感器采集的数据可用于各种目的，诸如预防性维护、提高效率和降低成本。

流数据的体积增加已伴随有商用硬件的增加的使用(并且在一些情况下可通过商用硬件的增加的使用而成为可能)。用于商用硬件的虚拟化技术的出现已为管理用于许多类型的应用程序的大规模计算资源提供了益处，从而允许各种计算资源高效且安全地由多个客户端共享。例如，虚拟化技术可以通过为每个用户提供由单一物理计算机托管的一个或多个虚拟机而允许所述单一物理计算机在多个用户之间共享，其中每个这样的虚拟机充当不同逻辑计算系统的软件模拟，所述软件模拟为用户提供了以为自己是给定硬件计算资源的唯一操作者和管理员的错觉，同时还提供了各种虚拟机之间的应用程序隔离和安全性。此外，一些虚拟化技术能够提供跨越两个或更多个物理资源的虚拟资源，如具有跨越多个不同物理计算系统的多个虚拟处理器的单一虚拟机。除了计算平台，一些大型组织还提供使用虚拟化技术建立的各种类型的存储服务。通过使用这种存储服务，海量数据可存储具有所需的耐久性水平。

虽然从各种供应商可以相对较低的成本获得虚拟计算和/或存储资源，然而较大的动态波动的数据流的采集、存储和处理的管理和编排出于各种原因仍然是挑战性命题。当更多资源被添加到系统设置用于处理较大的数据流时，例如可能出现系统的不同部分之间的工作量的不均衡。如果不加以解决，除了其他资源的未充分利用(和因此的损耗)以外，那么这种不均衡可能导致在一些资源处的严重性能问题。客户还可能对他们的流数据的安全性担心，或者如果这种数据或结果被存储在客户无法控制的设施处，那么还对分析流数据的结果担心。在当分布式系统尺寸上增大时增加频率的情况下自然倾向于发生的故障(诸如连接性的偶尔失去和/或硬件故障)也可能必须有效地解决，以防止流数据采集、存储或分析的昂贵的中断。

附图说明

图1提供了根据至少一些实施方案的数据流概念的简化概述。

图2提供了根据至少一些实施方案的在流管理系统(SMS)和包括流处理阶段的采集的流处理系统(SPS)的各种子部件之中的数据流的概述。

图3示出根据至少一些实施方案的在SMS SPS处可实现的相应组编程接口的实例。

图4示出根据至少一些实施方案的示例性基于网络的接口，所述接口可实现为使得SPS客户端能够产生流处理阶段的图形。

图5示出根据至少一些实施方案的在SMS处可实现的编程记录提交接口和记录检索接口的实例。

图6示出根据至少一些实施方案的SMS的摄取子系统的示例性元件。

图7示出根据至少一些实施方案的SMS的存储子系统的示例性元件。

图8示出根据至少一些实施方案的SMS的检索子系统的示例性元件和检索子系统与SPS的交互的实例。

图9示出根据至少一些实施方案的可建立用于SMS或SPS的节点的冗余组的实例。

图10示出根据至少一些实施方案的供应商网络环境，其中给定冗余组的节点可分布在多个数据中心中。

图11示出根据至少一些实施方案的可以被选择用于SMS或SPS的节点的多个放置目的地。