[发明专利]分布式的实时流处理装置、方法和单元

权利要求书

1.一种分布式的实时流处理装置，其特征在于，所述装置包括：输入单元、至少两个业务处理单元及排序输出单元；

所述输入单元，用于实时接收一批数据流，所述一批数据流包括多个子数据流，并将所述多个子数据流发送给多个业务处理单元，其中，每个业务处理单元对应至少一个子数据流；

所述每个业务处理单元，用于接收所述输入单元发送的子数据流，对接收到的所述子数据流进行并行处理，将得到的至少一个数据处理结果发送给所述排序输出单元，当确定属于同一批次的数据流的子数据流处理完成时，向所述排序输出单元发送标识事件，所述标识事件用于指示同一批次的数据流处理完成；

所述排序输出单元，用于接收所述每个业务处理单元发送的至少一个数据处理结果及所述标识事件，并在判断收集齐全所有业务处理单元发送的所述标识事件后，将收集到的属于同一批次的数据流的所有数据处理结果进行排序输出。

2.根据权利要求1所述的装置，其特征在于，所述每个业务处理单元，用于每得到一个数据处理结果后，为每个数据处理结果添加业务处理单元标识，将添加了业务处理单元标识的数据处理结果实时发送给所述排序输出单元，并在将处理完当前批次的数据流得到的数据处理结果全部发送给排序输出单元后，将记录有业务处理单元标识的标识事件发送给排序输出单元；

所述排序输出单元，用于接收到每个业务处理单元实时发送的携带本业务处理单元标识的数据处理结果，以及每个业务处理单元发送的标识事件之后，根据业务处理单元标识将不同业务处理单元发送的数据处理结果进行分区存放，对每个分区存放的数据处理结果作排序后输出之后，清除分区中已输出的标识事件。

3.根据权利要求1所述的装置，其特征在于，所述排序输出单元，还用于记录接收到所述每个业务处理单元发送的所述标识事件的时间，按照接收到所述标识事件的时间先后顺序，将所述每个业务处理单元发送的属于同一批次的数据流的数据处理结果进行排序输出。

4.根据权利要求1至3中任一权利要求所述的装置，其特征在于，所述排序输出单元，还用于根据接收到所述每个业务处理单元发送的所述标识事件的时间，调整所述每个业务处理单元的并发度。

5.根据权利要求4所述的装置，其特征在于，所述排序输出单元，具体用于根据接收到所述每个业务处理单元发送的所述标识事件的时间，确定所述每个业务处理单元处理所述属于同一个批次的数据流所耗费的时间，根据每个业务处理单元所耗费的时间，确定每个业务处理单元调整后的并发度。

6.根据权利要求5所述的装置，其特征在于，所述排序输出单元，具体用于根据每个业务处理单元所耗费的时间，获得各个业务处理单元耗费时间比，根据所有业务处理单元的总并发度的数量和所述各个业务处理单元耗费时间比，调整下一次每个业务处理单元的并发度，调整后的每个业务处理单元的并发度与所述各个业务处理单元耗费时间比成正比。

7.一种分布式的实时流处理方法，其特征在于，所述方法包括：

接收每个业务处理单元发送的至少一个数据处理结果及标识事件；

判断是否收集齐全所有业务处理单元发送的所述标识事件；

如果判断收集齐全所有业务处理单元发送的标识事件，则将收集到的属于同一批次的数据流的所有数据处理结果进行排序输出。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

记录接收到所述每个业务处理单元发送的所述标识事件的时间，按照接收到所述标识事件的时间先后顺序，将所述每个业务处理单元发送的属于同一批次的数据流的数据处理结果进行排序输出。

9.根据权利要求7所述的方法，其特征在于，所述接收每个业务处理单元发送的至少一个数据处理结果及标识事件，包括：

接收每个业务处理单元实时发送的携带本业务处理单元标识的数据处理结果，以及每个业务处理单元发送的标识事件；

所述将接收到的属于同一批次的数据流的所有数据处理结果进行排序输出，包括：

根据业务处理单元标识将不同业务处理单元发送的数据处理结果进行分区存放，对每个分区存放的数据处理结果作排序后输出之后，清除分区中已输出的标识事件。