[发明专利]一种支持负载均衡的动态伸缩移动感知复杂事件处理方法

说明书

技术领域

本发明涉及移动感知复杂事件处理领域，具体涉及一种支持负载均衡的动态伸缩移动感知复杂事件处理方法，能够在运行时刻横向扩展移动感知复杂事件处理查询的处理节点，保证扩展前后事件处理在语义上的一致，并能在运行时刻均衡各处理节点间的负载，从而提升移动感知复杂事件处理查询的吞吐率。

背景技术

近几年，诸如传感器等各种数据源的出现使需要处理的数据规模呈指数型增长，为了对规模庞大的数据形成的数据流进行实时处理，复杂事件处理技术成为了研究热点。复杂事件处理技术发掘数据流中数据潜在表达的语义，检测用户感兴趣的事件模式，当这种事件模式发生时，产生一个复杂事件并将其传递给用户。移动感知复杂事件处理是复杂事件处理技术在移动互联网时代发展出的一个分支。移动感知复杂事件处理能对以位置为基准的一定范围内的复杂事件进行查询，并且这种范围随着基准位置的移动而改变。这种特性使移动感知复杂事件处理技术相较于传统的复杂事件处理技术更能适应移动环境。

在现有的移动感知复杂事件处理架构中，一条用户查询对应着一个称为operator graph的处理单元，每个operator graph又由若干个称为operator的处理节点及其之间的数据流构成。每个operator负责处理查询的一部分，其处理前续operator通过数据流发送的数据，产生结果后将其作为新的数据流输出至后续operator。这种架构的可扩展性是极低的，当数据量突然大幅度增加时，operator graph将无法满足用户的吞吐率需求，造成拥塞。

现有技术中仍然存在需要解决的问题。首先，系统无法在运行之前事先知道使用多少个operator副本才是最合适的。使用过多的副本将造成系统资源的浪费，使用过少的副本又将造成处理能力不足，影响吞吐率。其次，随着时间的推移，不同副本的负载——即每秒流入该副本的数据量——将产生差异，这种差异使有些副本过载，有些副本无法完全发挥其处理能力。

发明内容

为了解决上述问题，本发明提出了一种支持负载均衡的动态伸缩移动感知复杂事件处理方法。提升系统资源的利用率，提高operator副本的整体吞吐率。

本发明监控operator副本的负载，利用动态伸缩的方法优化移动感知复杂事件处理系统中operator副本在运行时刻不同负载下的数量，提升系统资源的利用率，并保证调整前后查询结果的一致性。此外，利用负载均衡的方法提高operator副本的整体吞吐率。此外，本发明还保证了在使用动态伸缩和负载均衡方法后，移动感知复杂事件处理结果与使用上述方法前是一致的。

技术方案：本发明公开的一种支持负载均衡的动态伸缩移动感知复杂事件处理方法，其步骤包括：

步骤1、轮次时间收集与处理：对于operator副本，处理连续两个标记信息之间的数据称为一个轮次。轮次时间收集，分别收集每个operator所有副本对当前轮次的处理时间；轮次时间处理，计算出各副本处理时间的平均值和变异系数；

步骤2、判断是否需要伸缩或负载均衡：根据步骤1中得到的平均值和变异系数判断是否有operator计算能力不足而需要动态伸缩或需要负载均衡；

步骤3、进行伸缩与负载均衡：当operator进行伸缩，即调整operator副本个数，使operator以合适的计算资源匹配当前负载，即该轮次处理时间的平均值处于设定的阈值范围θ_{mean_high}～θ_{mean_low}，或小于θ_{mean_low}，同时变异系数不小于预设的阈值θ_{cv_high}；

当各副本进行负载均衡，即重新分配operator副本之间的负载，直至变异系数小于预设的阈值。

进一步的，步骤1中包含以下2个步骤：

步骤1.1、轮次时间收集；

步骤1.2、轮次时间处理。

上述方法的步骤1中，轮次时间收集，开始处理当前轮次数据时，副本记录当前时刻t1；处理到标记信息时，暂停数据处理并记录当前时刻t2；将t2-t1作为该轮次数据的处理时间；所有副本均得到该轮次处理时间时，该轮次的轮次时间收集结束。

轮次时间处理，得到所有副本的轮次时间后，计算所有副本该轮次处理时间的平均值t_mean和变异系数t_cv：

t_sd表示标准差，n表示副本个数，t_{process_i}表示第i个副本该轮次的处理时间。