[发明专利]数据处理装置和方法以及数据容器结构

说明书

本发明涉及一种数据处理装置和方法以及一种对应数据容器结构。所述数据处理装置(300)用于处理数据流(301)，所述数据流包括按时间顺序布置的多个数据元素(301a、b)。所述数据处理装置(300)包括处理器(303)，用于基于所述数据流(301)产生多个数据容器结构(305a、b)，其中每个数据容器结构(305a、b)包括按时间顺序的所述数据流(301)的所述多个数据元素(301a、b)的子集，其中所述处理器(303)进一步用于向每个数据容器结构(305a、b)提供元数据(307a、b)，其中所述元数据(307a、b)界定每个数据容器结构(305a、b)相对于所述多个数据容器结构(305a、b)中的其它数据容器结构(305a、b)的所述时间顺序。

技术领域

一般来说，本发明涉及数据处理的领域。更具体来说，本发明涉及一种用于处理数据流的数据处理装置和方法以及一种对应数据容器结构。

背景技术

在当今信息丰富的环境中，快速处理大量数据可能具有挑战性并且非常重要。在事件发生时，此数据通常以数据流，即，连续或半连续数据流的形式提供，其中在许多情况下，实时产生数据元素。例如，在追踪和接入应用时用于射频识别(radio-frequencyidentification，RFID)中的传感器可以提供关于所追踪目标的位置的流式数据。对流式数据中的特定信号快速作出响应通常是多个应用的关键方面。例如，用于检测安全威胁的网络监视系统需要检测和报告在通过监视收集到的数据流中表示的事件。

常规上，通过首先将数据存储于数据库中执行对流式数据的处理。随后可以查询数据库以检索数据供进一步处理。因此，实时分析数据是非常困难的，因为数据库访问次数受限制，具体来说，具有高数据速率的流受限制。为了解决此问题，已重新设计若干传统的软件技术，例如，主存储器数据库管理系统。

近年来已开发称为“复杂事件处理”或“事件流处理”的技术。借助于这些技术，可以由于数据流的处理来检测体现为数据流内的有意义图案的事件。在此上下文中，已出现呈流处理引擎形式的新类别的基础架构，例如，“Aurora”、“STREAM”、“TelegraphCQ”以具体来说支持高容量、低时延的数据流处理应用。

常规的流处理范例涉及在数据流的所有元素/事件上应用的一组操作。在很多情形下，处理数据流涉及必须基于数据流的连续变化数据元素或事件及时重复进行计算的特定计算，例如，计算滑动平均值。换句话说，接收为数据流的一部分的新数据元素或事件通常必须客观地看待为数据流中的早期数据流。或者，在某些应用情形中，每个新数据元素基于数据流中的所有可用数据元素，即，早期数据元素和新数据元素触发重复计算。

此情况通常涉及将数据流分割成应用计算的不同窗口，即，时间间隔。窗口是相对于由数据流的数据元素或事件界定的时间或顺序的定界，所述数据流含有数据元素或事件的子集。在图1中例示此概念。常规的流处理引擎使用窗口来向数据流或事件应用处理功能(例如，计算操作)。如果实时接收事件，或如果事件存储于数据库中并且在重演事件以模仿流行为时反复进行处理，使用同一机构。

特定方面在于常规窗口是可传递的。出于将计算操作应用于数据流的数据元素或事件的目的形成窗口，但是在完成计算操作之后，不保存窗口。因为一般会舍弃与流的处理对应的窗口，所以数据流上的任何连续操作将需要重新产生和重新计算窗口。即使对于窗口的较小更新，例如，时间再校准，也会发生此行为。实际上考虑到对于多个分析情形，相对于分析的时刻完成流到多个窗口的分割，因此这是通用操作。随着时间推进，系统的参考时间也前进并且这需要重新调整窗口。

图2中说明可能在常规流处理引擎中发生的示例性情形。例如，在时间点X处，数据流的数据元素或事件可以分组成窗口，从当前时刻开始以及追溯6个月，所述窗口具有1小时的大小。基于数据元素或事件到窗口的此分组，可以计算不同统计测量，例如，窗口的数据元素或事件的平均值。在新数据元素或事件在时间点X+Δ处作为数据流的一部分到达之后，必须再次计算这些统计测量，因为对于时间点X+Δ窗口必须从头开始重新产生。