[发明专利]一种移动感知复杂事件并行处理方法及系统

说明书

本发明公开一种移动感知复杂事件并行处理方法。包括以下步骤：步骤1，数据划分：对当前operator产生的数据进行数据映射，将这些数据传输给对应的后续operator；分割属于不同查询范围的数据；步骤2，数据合并：属于同一个划分的数据传输至同一个operator，对数据进行排序，并提交给operator处理模块；步骤3，数据处理：步骤3.1，数据处理，对合并后的数据提交至operator处理模块进行处理；若存在后续operator，将处理后产生的结果转入步骤1；步骤3.2，范围处理结束信号发送，表明operator可以开始处理下一查询范围数据。在移动感知复杂事件处理环境下，通过并行处理来增加系统对输入数据量的负载上限和事件处理的吞吐率时，可以使用本发明。

技术领域

本发明涉及移动感知复杂事件处理领域，具体涉及一种移动感知复杂事件并行处理方法及系统。

背景技术

随着我们进入大数据时代，应用规模不断扩大，系统内部和系统间的数据交换速度快速增长，流式数据处理技术出现在了公众的视野。区别于传统的大数据处理系统，流式数据处理系统在数据流上进行大数据处理，并实时返回处理结果，供上层应用程序使用。复杂事件处理技术作为流式数据处理技术的一种，在近年来受到了广泛的关注。复杂事件处理技术将数据流中的数据看作一个个事件，发掘这些事件潜在表达的语义，检测用户感兴趣的事件模式。这种功能使其在物联网，金融，医疗，互联网这些在复杂情景发生时需要快速做出关键决策的领域均有很好的应用。

移动互联网的发展使复杂事件处理衍生出了一个分支，称为移动感知复杂事件处理。在移动场景下，用户对以位置为基准的一定范围内的复杂事件进行查询，并且这种范围随着用户的移动而改变。一条用户查询对应着一个称为operator graph的处理单元，每个operator graph又由若干个称为operator的处理节点及其之间的数据流构成。每个operator负责处理查询的一部分，其处理前续operator通过数据流发送的数据，产生结果后将其作为新的数据流输出至后续operator。

相较于传统的复杂事件处理技术，移动感知复杂事件处理使用基于标记信息(Marker Message)的同步机制使operator graph能进行重配置，可以使开发者减少部署的operator graph总数，做到operator graph在多个范围内的复用，从而降低整个系统的资源开销与负载；并且，与传统模式相比，使用标记信息区分不同查询范围的事件，令其在查询结果的精确性上进行了提升，保证了查询结果的质量。

另一方面，流式数据处理系统对扩展性和吞吐率的需求使其产生了新的架构——并行架构。在并行架构下，系统能横向扩展operator，使其具备更多的资源和更强的处理能力。这种扩展是动态的，即在运行时刻根据系统负载调整分配的资源量，防止资源过多或过少的分配。并行架构的引入使系统能应对更高的负载，获得更好的吞吐率效果。当前的移动感知复杂事件处理技术使用的是非并行架构，限制了系统的伸缩性，相较于并行架构难以提升其吞吐率。并且，将并行架构引入移动感知复杂事件处理时，后者的同步机制需要进行调整以适应并行架构，否则将无法保证查询结果的正确性。

发明内容

为了解决上述问题，本发明提出了一种移动感知复杂事件并行处理方法及系统，利用并行架构提升了移动感知复杂事件处理技术的吞吐率，提出了一种并行架构下的同步机制以消除并行化对查询结果的正确性带来的影响。

本发明将移动感知复杂事件处理架构并行化，对数据流中的数据按照其主键的哈希值进行划分，形成多条子数据流，每条子数据流由一个operator的副本进行处理；同时对处理后的结果进行合并，形成一条新的数据流，交由后续节点处理。此外，本发明对以标记信息为基础的同步机制进行了重新设计，使其能在并行架构下正常工作，保证其处理移动环境数据所得出每个查询范围结果的正确性。