[发明专利]一种大数据场景下的日志分布式流式采集及计算方法

摘要

本申请涉及数据处理领域，揭露一种大数据场景下的日志分布式流式采集及计算方法、装置、电子设备及存储介质，所述方法包括：采集流数据，根据构建流数据的有向图，配置流数据的流分区；根据流分区，对流数据进行任务转换，生成多个任务算子，计算每个任务算子的运行数据；若运行数据在运行过程不需要逻辑转换，采用直发模式将运行数据传输到下游任务算子，使运行数据处于同一流分区，汇总处于同一流分区的运行数据，得到最终输出数据；若运行数据在运行过程需要逻辑转换，采用重新分发模式将运行数据传输到逻辑转换对应的任务算子，使运行数据处于不同流分区，汇总处于不同流分区的运行数据，得到最终输出数据。本申请可以提高流数据的处理效率。