[发明专利]使用属性特征化预测性地移除运行时数据的方法和系统

说明书

技术领域

本发明涉及数据处理，特别地，涉及使用属性特征化预测性地移除运行时数据的方法和系统。

背景技术

当计算机数据库变得极其复杂时，施加于数据库系统上的计算命令也迅速增加。数据库系统典型地被配置为将存储数据的处理与访问、操作或使用存储在数据库中的数据相分离。更具体地，数据库使用数据先被存储、接着被索引、然后被查询的模型。然而，这个模型不能满足一些实时应用的性能要求。例如，数据库系统能够接收并存储传入的数据的速率会限制可以被处理或者被评估的数据的数量。这继而限制了数据库应用实时处理大量数据的能力。

发明内容

本发明的实施例提供了一种用于处理数据流的计算机实现的方法、系统和计算机程序产品。所述方法、系统和计算机程序产品包括接收要处理的数据流的第一元组，其中所述第一元组包括多个属性。所述方法、系统和计算机程序产品还包括至少部分基于所述第一元组中的多个属性中的一个或多个属性，计算用于处理所述数据流的所接收到的第一元组的估计处理时间。另外，所述方法、系统和计算机程序产品包括：当确定所计算的估计处理时间不超过预定的阈值时间时，使用第一执行路径以第一方式处理所述数据流的第一元组。所述方法、系统和计算机程序产品还包括：当确定所计算的估计处理时间超过所述预定的阈值时间时，以第二方式处理所述数据流的所接收到的第一元组，相对于以第一方式处理所述第一元组，所述第二方式降低所述第一执行路径中的处理延迟。

本发明的替代实施例提供了一种用于处理数据流的方法、系统和计算机程序产品。所述方法、系统和计算机程序产品包括接收要处理的数据流的第一元组，其中所述第一元组包括多个属性。所述方法、系统和计算机程序产品还包括基于(i)所述第一元组中的多个属性中的一个或多个属性和(ii)与所接收到的元组相关联的元数据两者中的至少一个，计算用于处理所述数据流的所接收到的第一元组的估计处理时间。另外，所述方法、系统和计算机程序产品包括：当确定所计算的估计处理时间不超过预定阈值时间时，使用第一执行路径以第一方式处理所述数据流的第一元组。所述方法、系统和计算机程序产品还包括：当确定所计算的估计处理时间超过预定阈值时间时，以第二方式处理所述数据流的所接收到的第一元组，相对于以第一方式处理所述第一元组，所述第二方式降低所述第一执行路径中的处理延迟。

附图说明

由此，获得并可以详细理解上述方面的方式、上面简要概括的本发明的实施例的更具体的说明，可以参考附图。

然而，要注意，所述附图仅仅说明了本发明的典型实施例，因此不被认为是对它的范围的限制，本发明可以认可其他同样有效的实施例。

图1A-1B说明了根据本发明的一个实施例的、被配置用于执行流应用的计算基础结构100。

图2是根据本发明的一个实施例的、图1A-1B的计算节点130的更详细的视图。

图3是根据本发明的一个实施例的、图1的服务器计算系统105的更详细的视图。

图4说明了根据本发明的一个实施例的、流应用中的计算节点的示例。

图5是说明了根据本发明的一个实施例的、预测性地移除运行时数据的方法的流程图。

图6是说明了根据本发明的一个实施例的、概要分析(profiling)元组的方法的流程图。

具体实施方式

基于流的计算和基于流的数据库计算随着数据库系统技术的发展而出现。可以获得允许用户在流数据到达数据库文件之前创建处理和查询流数据的应用的产品。利用该出现的技术，当传入(inbound)的数据记录“在飞行中(in flight)”时，用户能够指定处理逻辑以应用到传入的数据记录，可以在非常短的时间内得到结果，通常是毫秒级的。使用这种类型的处理构建应用开辟了允许多样性的创新应用、系统和进程(process)得以开发的新编程范例，并且对应用程序员和数据库开发人员提出了新的挑战。