[发明专利]一种大数据场景下的日志分布式流式采集及计算方法

说明书

本申请涉及数据处理领域，揭露一种大数据场景下的日志分布式流式采集及计算方法、装置、电子设备及存储介质，所述方法包括：采集流数据，根据构建流数据的有向图，配置流数据的流分区；根据流分区，对流数据进行任务转换，生成多个任务算子，计算每个任务算子的运行数据；若运行数据在运行过程不需要逻辑转换，采用直发模式将运行数据传输到下游任务算子，使运行数据处于同一流分区，汇总处于同一流分区的运行数据，得到最终输出数据；若运行数据在运行过程需要逻辑转换，采用重新分发模式将运行数据传输到逻辑转换对应的任务算子，使运行数据处于不同流分区，汇总处于不同流分区的运行数据，得到最终输出数据。本申请可以提高流数据的处理效率。

技术领域

本申请涉及数据处理领域，尤其涉及一种大数据场景下的日志分布式流式采集及计算方法、装置、电子设备以及计算机可读存储介质。

背景技术

在当前的互联网用户、设备以及服务等激增的时代下，不同业务场景都会有着大量的持续数据产生，即产生大量的流数据，而面对大量产生的流数据，如何实时高效的计算处理这些流数据显得愈发重要。

目前，通常采用数据计算框架(如Map Reduce，Storm，Spark等)去计算处理这些实时产生的流数据，但是在实际业务场景中，由于数据的错综复杂以及用户需求的多变性导致在利用这些数据计算框架处理流数据时，无法快速响应业务场景的需求，从而导致对流数据的处理效率不高。

申请内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种大数据场景下的日志分布式流式采集及计算方法、装置、电子设备以及计算机可读存储介质，可以提高流数据的处理效率。

第一方面，本申请提供了一种大数据场景下的日志分布式流式采集及计算方法，包括：

采集流数据，并构建所述流数据的有向图，根据所述有向图，配置所述流数据的流分区；

根据所述流分区，利用操作算子对所述流数据进行任务转换，生成多个任务算子，并计算每个所述任务算子的运行数据；

识别所述运行数据在运行过程中是否需要逻辑转换；

若所述运行数据在运行过程中不需要逻辑转换，则采用直发模式将所述运行数据传输到下游任务算子中，以使所述运行数据处于同一流分区，并汇总处于同一流分区的运行数据，得到最终输出数据；

若所述运行数据在运行过程中需要逻辑转换，则采用重新分发模式将所述运行数据传输到所述逻辑转换对应的任务算子中，以使所述运行数据处于不同流分区，并汇总处于不同流分区的运行数据，得到最终输出数据。

可以看出，本申请实施例首先通过构建采集的流数据的有向图，根据所述有向图，配置所述流数据的流分区，可以确定所述流数据在数据处理过程中数据之间的流向和关系，并将所述有向图中具有相同流向的数据进行归并至同一区域进行处理，保障后续流数据在处理过程中的一致性，提高后续流数据的处理速度；其次，根据所述流分区，利用操作算子对所述流数据进行任务转换，生成多个任务算子，可以确定所述流数据中每个数据在所述流分区的处理操作，从而可以快速响应后续应用程序的计算处理，并计算每个所述任务算子的运行数据，可以获取每个所述任务算子的输出结果；进一步地，本申请实施例通过识别每个所述运行数据在运行过程中是否需要逻辑转换，可以确定后续每个运行数据的处理区间是否处于同一流分区，从而采用直发模式或重新分发模式去处理流数据的计算，提高流数据的处理效率。

在第一方面的一种可能实现方式中，所所述构建所述流数据的有向图，包括：

将所述流数据中每个数据作为图元素节点，采用深度优先算法遍历所述图元素节点中所有元素节点的节点路径；

根据所述节点路径，确定所述图元素节点的邻接列表；

根据所述邻接列表，生成所述流数据的有向图。