[发明专利]一种任务处理方法、装置、设备及可读存储介质

说明书

本申请公开了一种任务处理方法、装置、设备及可读存储介质，该方法包括：载入并解析待创建flink数据流链对应的yaml配置文件，得到数据流向图和算子节点列表；利用数据流向图，初始化初始节点和各个算子节点；按照算子节点列表和/或数据流向图中对应的连接方式，连接初始节点和各个算子节点，得到flink数据流链；启动flink数据流链，并利用flink数据流链执行实时流任务。本申请能够使得开发人员方便地对数据流走向、运行配置进行调整，提升了代码的可维护性，提高开发效率。

技术领域

本申请涉及计算机应用技术领域，特别是涉及一种任务处理方法、装置、设备及可读存储介质。

背景技术

Apache Flink是一种大数据领域通用的分布式实时处理引擎，其高吞吐低延迟的特点广泛适用于一些大数据量的流处理应用开发。在大数据flink开发场景中，通过flinkdatastreamApi(flink原生框架)开发，可以实现实时流业务。

通常情况下，一套代码对应于单一数据流开发，增加业务模块需要更改相关的运行代码及模块算子代码。针对flink原生框架的开发，通用框架代码与业务开发代码高度结合，业务频繁改动会引起的整体变动，造成代码质量、可维护性的下降。

综上所述，如何有效地解决flink数据流链开发等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本申请的目的是提供一种任务处理方法、装置、设备及可读存储介质，能够利用yaml配置模板，通过配置定义数据流向图，flink算子节点，schema配置结合算子代码开发，能够按照预先定义的数据流运行图自动连接算子节点，按照运行配置提交flink运行任务。因而，能够方便地对数据流走向、运行配置进行调整，提升了代码的可维护性，提高开发效率。

为解决上述技术问题，本申请提供如下技术方案：

一种任务处理方法，包括：

载入并解析待创建flink数据流链对应的yaml配置文件，得到数据流向图和算子节点列表；

利用所述数据流向图，初始化初始节点和各个算子节点；

按照所述算子节点列表和/或所述数据流向图中对应的连接方式，连接所述初始节点和各个所述算子节点，得到所述flink数据流链；

启动所述flink数据流链，并利用所述flink数据流链执行实时流任务。

优选地，利用所述数据流向图，初始化初始节点，包括：

从所述数据流向图中识别出所述起始节点；所述数据流向图包括每个所述算子节点对应的实体类数组，每个所述实体类数组包括节点名称和下游节点列表；

利用所述起始节点对应的Class文件，判断所述起始节点的节点类型是否为数据源；

如果是，则构建数据源节点，并通过所述数据源节点的数据输出结构定义反射所述起始节点的数据结构。

优选地，利用所述数据流向图，初始化各个所述算子节点，包括：

从所述数据流向图中，读取所述初始节点的下游节点列表，得到各个所述算子节点；

从所述算子节点列表查询数据结构；

根据查询结果，确定各个所述算子节点的数据结构。

优选地，根据查询结果，确定各个所述算子节点的数据结构，包括：

若查询到当前算子节点的数据结构，则利用所述数据结构设置所述当前算子节点的数据结构；

若未查询到所述当前算子节点的数据结构，则获取所述当前算子节点对应的上一个算子节点的数据结构；