[发明专利]一种日志数据流处理方法

摘要

本发明提供一种日志数据流处理方法，将数据流进行时序划分为多个子实时数据流和多个子历史数据文件，根据计算节点的实时处理能力相应的分配上述多个子实时数据流和多个子历史数据文件，根据计算节点的实时处理能力实现数据流的细粒度管理。同时，根据操作数据流的接收速率和处理速率动态的调整各个计算节点的线程数量，线程数量随着操作数据流的时变性以及外部负载的变化进行动态更新，实现动态实时控制处理效率。

主权项

一种日志数据流处理方法，其特征在于，所述方法用于多节点数据流处理系统中，所述系统包括一个主控节点和多个计算节点，其中所述主控节点用于根据接收到的数据流向各个计算节点分配任务，各个计算节点用于对所接收到的分配任务并行地进行计算；该方法包括如下步骤：(1)主控节点接收日志数据流，并对日志数据流进行一次时序分组，一次时序分组后将日志数据流分为实时数据流和历史数据文件；(2)主控节点分别对实时数据流和历史数据流进行二次时序分组，二次时序分组后将日志数据流分为n个子实时数据流和m个子历史数据文件；(3)主控节点监控各个计算节点的实时计算能力并按实时计算能力从高到低将多个计算节点进行排队，实时计算能力由计算节点当前单位时间内处理的数据量来衡量；(4)主控节点选择实时计算能力排序高的前n个计算节点作为子实时数据流计算节点，从选择完n个子实时数据流计算节点后的排序队列中再按从高到低顺序选择前m个计算节点作为子历史数据文件计算节点；(5)主控节点将n个子实时数据流任务实时分配给n个子实时数据流计算节点，将m个子历史数据文件任务发送给m个子历史数据文件计算节点；(6)各个子实时数据流计算节点根据接收的子实时数据流任务中用于指示进行该子实时数据流任务的目标逻辑任务的接收速率，以及所述目标逻辑任务的处理速率，确定执行所述子实时数据流任务的并行度，所述并行度为并行执行所述子实时数据流任务的线程数量，所述逻辑任务是主控节点根据子实时数据流任务分配的，用于指示待处理子实时数据流任务以及所述待处理子实时数据流任务所需进行的操作；各个子历史数据文件计算节点根据接收的子历史数据文件任务中用于指示进行该子历史数据文件任务的目标逻辑任务的接收速率，以及所述目标逻辑任务的处理速率，确定执行所述子历史数据文件任务的并行度，所述并行度为并行执行所述子历史数据文件任务的线程数量，所述逻辑任务是主控节点根据子历史数据文件任务分配的，用于指示待处理子历史数据文件任务以及所述待处理子历史数据文件任务所需进行的操作；(7)各个子实时数据流计算节点根据所述子实时数据流任务的并行度，对所述子实时数据流任务的目标逻辑任务进行整合得到至少一个子实时物理任务，所述子实时物理任务的数量与所述并行度相同；各个子历史数据文件计算节点根据所述子历史数据流的并行度，对所述子历史数据文件任务的目标逻辑任务进行整合得到至少一个子历史物理任务，所述子历史物理任务的数量与所述并行度相同；(8)各个子实时数据流计算节点执行所述至少一个子实时物理任务；并行地，各个子实时数据流计算节点执行所述至少一个子历史物理任务；(9)各个子实时数据流计算节点和各个子实时数据流计算节点将各自并行处理完的结果发送到主控节点，主控节点对上述结果进行整合并输出。