[发明专利]利用开放执行器处理流数据

说明书

背景技术

数据流是控制数据处理的计算机架构。数据可以来自数据库或在数据被处理时利用传感器被实时记录。数据流执行机构在数据通过每个数据流站时利用该数据执行任务。例如，任务可以包括分组数据、压缩数据、解码数据或其他任务。

流化数据是数据元素序列，其中数据元素随时间相继变得可用。当数据通过数据流被实时流化时，数据流处理数据元素使得经处理的数据元素也变得对用户实时可用。例如，经处理的流化数据可以显示在监控器中，其中用户可以随时间观察经处理的信息。

附图说明

附图示出这里描述的原理的多种实例并且是说明书的一部分。所示实例仅是实例并且不限制权利要求的范围。

图1是根据这里描述的原理的数据流系统的实例的图。

图2是根据这里描述的原理的数据流处理站的实例的图。

图3是根据这里描述的原理的处理系统的实例的图。

图4是根据这里描述的原理的数据流处理站的实例的图。

图5是根据这里描述的原理的用于处理流数据的方法的实例的图。

图6是根据这里描述的原理的用于处理流数据的过程的流程图的实例的图。

图7是根据这里描述的原理的用于处理流数据的过程的流程图的实例的图。

具体实施方式

沿着数据流的任何点都可能变成阻碍流数据的实时处理的瓶颈。瓶颈效应可能出现在处理任务跟上实时处理速度花费比预期更长的时间的情况下。中央处理单元（CPU）通常一次执行一个任务，并由此，任何利用CPU的延迟都推迟所有下游数据的处理。为了克服当依赖CPU处理数据时固有可能的潜在延迟，这里描述的原理描述了一种将结合CPU使用的图形处理单元（GPU）。GPU具有同时处理多个数据序列的能力。由此，CPU和GPU的组合降低了产生处理延迟的风险。

然而，利用GPU执行的任务以不同于用于利用CPU执行的任务的编程语言的方式被编程。例如，用于CPU的程序指令以其连续执行任务的格式被写入，而用于GPU的程序指令以其利用GPU的并行处理能力的方式被写入。结果，对数据流站编程以执行复杂过程涉及复杂的代码。

这里描述的原理通过提供简化了编程的复杂性的对称处理平台降低了当对针对将利用GPU处理的流数据的处理任务编程时对于程序员来说的编程复杂性。这种方法可以包括在计算数据流站接收输入数据，其中计算数据流站包含计算文件和接受代码插件的开放执行器，将计算文件的内容转换成具有来自系统库的插件的程序串，以及启动程序串连同输入数据来利用图形处理单元计算输出。

在下面的描述中，为了解释的目的，阐述了多个具体细节以便提供对本系统和方法的透彻理解。然而，对本领域技术人员来说明显的是，本设备、系统和方法可以在没有这些具体细节的情况下被实施。说明书中对“实例”或类似语言的引用意味着所描述的特定特征、结构或特性被包括在至少该一个实例中，但不一定被包括在其他实例中。

图1是根据这里描述的原理的数据流系统（100）的实例的图。在该实例中，数据流系统（100）具有与数据源（104）通信的协调服务器（102）、第一数据流站（106）和第二数据流站（108）。协调服务器（102）协调第一和第二数据流站（106，108）的活动。数据源（104）可以是存储单元，例如原始数据的数据库。在其他实例中，数据源（104）是至少一个传感器，其正进行实时测量并将那些测试馈送到数据流系统（100）中。另外，数据源（104）可以是正关于目标系统进行多个测量的传感器阵列。在一些实例中，传感器阵列进行单一类型的测量，以及在替换实例中，传感器阵列进行多类型的测量。

尽管具体参考具有仅两个数据流站的数据流系统（100）描述了图1的实例，但根据这里描述的原理可以使用任何数量的数据流站。每个数据流系统具有使得将对数据执行任务的数据流执行机构。例如，第一数据流站可以具有使得将通过特定特性存储测量类型的开放执行器，而第二数据流站具有使得将计算测量的某些方面的另一执行器。

输入数据是流化数据，其是元组序列。元组是对象列表。当利用数据流站中的开放执行器操作流化输入数据时，流化输入数据被变换成流化数据输出。数据流站的开放执行器可以通过对输入数据执行计算来处理输入数据。