[发明专利]动态组合数据流处理应用程序

说明书

政府合同

本发明是借助由美国国防部资助的合同号为H98230-07-C-0383的政府支持项目完成的。政府享有本发明的特定权益。

技术领域

本发明的实施例主要涉及信息技术，并且更具体地涉及数据流处理。

背景技术

流处理计算范式包括以流的形式同化来自软件或硬件传感器集合的数据读数(也就是说，无限的元组集合承载了由外部数据源生成的信息)，分析数据，然后可能也是以流格式生成可指导行动的结果。流处理应用程序可以包括多个组件，每一个组件均可生成可以由应用程序中的另一个组件调用的数据流。例如，在交通管理系统中，可以设想携带手机的每一位驾驶员都会变成向拥堵控制系统中输送关于其位置和速度信息的数据源。在这样的情况下，分布式交通管理平台的数据收集部分可以将其关注点集中在订阅所有可用的数据源(例如特定区域内所有携带手机的驾驶员)以提高其可能做出的拥堵预测的准确度。因此，对于提供数据源的自动路由存在需求。在上述情况下，这可能会包括将捕获驾驶员速度和位置的瞬时读数以及交通事故的位置和道路养护方案路由至数据使用者(在该示例中是交通和拥堵管理系统平台)。

通常，流处理应用程序可以包括几十到几百个解析操作点，配置在架设了很多其他可能互联的流应用程序的系统上，分布在大量的处理节点中。在现有的方法中，实现可以互联应用程序或者允许集成多个应用程序的流程图通常是通过硬编码应用程序内和应用程序间连接或者是通过依靠发布-订阅或企业服务总线型的机制以特定方式完成的，具有很多关于可扩展性问题方面的缺点。

由生成者产生的数据相对于应用程序的执行可以是间歇性的。例如，在基础设施监控领域内发展起来的大规模分布式应用程序(例如交通管理系统、能量分布系统、大零售商供应链管理系统、分布式欺诈和异常检测系统、监视系统等)往往是长期运行的应用程序，被设计为除了周密计划好的维护停机期间以外可能都要保持连续运行。而且，这些应用程序经常被设计为在它们内部互相协作，例如，通过使交通传感器驱动自动交通控制以用于减少拥堵。

在很多情况下，为现有应用程序输送数据的原始数据源可能会以变化的时间间隔(也就是从几秒到几天)连续地变为可用和不可用，原因就在于这些来源中的一部分是暂时性的。在此情况下，平台中的数据收集部分可以将其关注点集中在订阅所有可用的原始数据源。因此，需要对于向数据使用者提供数据源的自动路由。

现有的方法包括发布/订阅系统。但是，发布/订阅系统是以由生产者生成的各个数据项的间隔来描述数据特性，而不是以生产者的间隔。这样的方法并不实用，原因在于与以数据源的间隔进行注释相比的注释各个数据项相关联的低效率。

发明内容

本发明的原理和实施例提供了用于动态组合数据流处理应用程序的技术。根据本发明的一种应用，一种用于在基于组件的数据流处理应用程序中动态修改多个组件之间互联的示范性方法(可以用计算机实现)可以包括以下步骤：针对要在一个或多个处理器上执行的软件应用程序内的多个输出端口中的每一个输出端口接收数据生产者档案，其中应用程序包括多个组件，每一个组件都包括生成数据流的输出端口和调用数据流的输入端口，并且其中每一份数据生产者档案都描述了由对应输出端口生成的数据特征，针对应用程序多个组件的一个或多个输入端口中的每一个输入端口接收数据订阅档案，其中每一份数据订阅档案都描述了由输入端口调用的数据特征，根据接收的数据生产者档案和接收的数据订阅档案的比较，在应用程序内多个组件的输出端口和输入端口之间建立一个或多个连接，在一个或多个处理器上执行数据流处理应用程序以处理一个或多个数据流，在执行应用程序期间接收新的数据生产者档案或新的数据订阅档案之一或两者都接收，并根据接收的包括一个或多个新数据档案的数据档案的修正比较，在输出端口和输入端口之间建立至少一个新连接。