[发明专利]分布式的实时流处理装置、方法和单元

摘要

本发明公开了一种分布式的实时流处理装置、方法及单元，属于数据处理领域。方法包括：接收输入单元分发的一批数据流，该一批数据流包括多个子数据流；对接收到的子数据流进行并行处理，得到数据处理结果；将得到的至少一个数据处理结果发送给排序输出单元，当确定属于同一批次的数据流的子数据流处理完成时，向排序输出单元发送标识事件，该数据处理结果及标识事件用于排序输出单元在判断收集齐全所有业务处理单元发送的标识事件后，将收集到的属于同一批次的数据流的所有数据处理结果进行排序输出。本发明通过排序输出单元将同一批次的数据处理结果进行排序输出，实现了分布式的实时流处理的全局排序，更为规整和简便，方便后续处理。

主权项

一种分布式的实时流处理装置，其特征在于，所述装置包括：输入单元、至少两个业务处理单元及排序输出单元；所述输入单元，用于实时接收一批数据流，所述一批数据流包括多个子数据流，并将所述多个子数据流发送给多个业务处理单元，其中，每个业务处理单元对应至少一个子数据流；所述每个业务处理单元，用于接收所述输入单元发送的子数据流，对接收到的所述子数据流进行并行处理，将得到的至少一个数据处理结果发送给所述排序输出单元，当确定属于同一批次的数据流的子数据流处理完成时，向所述排序输出单元发送标识事件，所述标识事件用于指示同一批次的数据流处理完成；所述排序输出单元，用于接收所述每个业务处理单元发送的至少一个数据处理结果及所述标识事件，并在判断收集齐全所有业务处理单元发送的所述标识事件后，将收集到的属于同一批次的数据流的所有数据处理结果进行排序输出。