[发明专利]一种大数据场景下的日志分布式流式采集及计算方法

权利要求书

1.一种大数据场景下的日志分布式流式采集及计算方法，其特征在于，所述方法包括：

采集流数据，并构建所述流数据的有向图，根据所述有向图，配置所述流数据的流分区；

根据所述流分区，利用操作算子对所述流数据进行任务转换，生成多个任务算子，并计算每个所述任务算子的运行数据；

识别所述运行数据在运行过程中是否需要逻辑转换；

若所述运行数据在运行过程中不需要逻辑转换，则采用直发模式将所述运行数据传输到下游任务算子中，以使所述运行数据处于同一流分区，并汇总处于同一流分区的运行数据，得到最终输出数据；

若所述运行数据在运行过程中需要逻辑转换，则采用重新分发模式将所述运行数据传输到所述逻辑转换对应的任务算子中，以使所述运行数据处于不同流分区，并汇总处于不同流分区的运行数据，得到最终输出数据。

2.如权利要求1所述的大数据场景下的日志分布式流式采集及计算方法，其特征在于，所述构建所述流数据的有向图，包括：

将所述流数据中每个数据作为图元素节点，采用深度优先算法遍历所述图元素节点中所有元素节点的节点路径；

根据所述节点路径，确定所述图元素节点的邻接列表；

根据所述邻接列表，生成所述流数据的有向图。

3.如权利要求1所述的大数据场景下的日志分布式流式采集及计算方法，其特征在于，所述根据所述有向图，配置所述流数据的流分区，包括：

查询所述有向图中具有相同指向的数据；

对查询的数据构建时间戳，得到目标数据，并建立所述目标数据的数据分区表；

创建所述数据分区表的缓冲区域，得到所述流数据的流分区。

4.如权利要求1所述的大数据场景下的日志分布式流式采集及计算方法，其特征在于，所述根据所述流分区，利用操作算子对所述流数据进行任务转换，生成多个任务算子，包括：

获取所述流数据中每个数据在所述流分区的数据属性，根据所述数据属性，识别所述流数据中每个数据的数据特征；

将每个所述数据特征转换为特征字段，得到多个特征字段；

响应于用户输入的数据操作任务，利用操作算子创建每个所述特征字段在所述流分区的运行任务，得到多个任务算子。

5.如权利要求1所述的大数据场景下的日志分布式流式采集及计算方法，其特征在于，所述计算每个所述任务算子的运行数据，包括：

利用下述公式计算每个所述任务算子的运行数据：

S_k＝1

其中，S_k表示任务算子的运行数据，k表示任务算子中的第k个任务算子，j表示任务算子中的数据，n表示任务算子中的数据数量，t表示任务算子的输出时间，r表示任务算子的输出函数。

6.如权利要求1至5中任意一项所述的大数据场景下的日志分布式流式采集及计算方法，其特征在于，所述识别每个所述运行数据在运行过程中是否需要逻辑转换，包括：

触发每个所述运行数据的任务线程，侦测每个所述任务线程在运行过程中的数据是否需要进行更新；

若不需要更新，则所述运行数据不需要逻辑转换；

若需要更新，则所述运行数据需要逻辑转换。

7.如权利要求1所述的大数据场景下的日志分布式流式采集及计算方法，其特征在于，所述采用直发模式将所述运行数据传输到下游任务算子中，包括：

获取产生所述运行数据的上游任务算子，配置所述上游任务算子与所述下游任务算子的数据传输通道；

根据所述数据传输通道，将所述运行数据传输到下游任务算子中。