[发明专利]Flink SQL作业的提交方法、装置及计算机设备

说明书

本申请适用于大数据技术领域，提供了一种Flink SQL作业的提交方法、提交装置、计算机设备及存储介质。该提交方法包括：接收Flink SQL作业的上线请求；根据上线请求调用作业提交程序，以加载作业提交程序中所集成的安装包；基于已加载的安装包，将Flink SQL作业提交至待部署的大数据集群中，以完成Flink SQL作业的无环境提交。通过本申请的方法能够降低Flink SQL作业对环境的依赖，从而实现Flink SQL作业的无环境提交，提高Flink SQL作业提交的灵活性以及Flink SQL作业的可移植性。此外，本申请还涉及区块链技术。

技术领域

本申请涉及大数据技术领域，尤其涉及一种Flink SQL作业的提交方法、FlinkSQL作业的提交装置、计算机设备及计算机可读存储介质。

背景技术

Flink作为主流的实时数据处理引擎，在实时大数据领域发挥着至关重要的作用。在基于Flink对实时数据处理之前，需要先对flink进行安装，具体的安装是通过作业提交的方式来实现。

目前，Flink SQL作业的提交过程中，需要先在大数据集群中安装Flink所依赖的环境安装包。一种情况下，当集群扩容或者机器老化而需要上线或下线一部分机器时，需要在新的机器上重新安装Flink所有依赖的安装包，导致Flink对实时数据处理的稳定性受到影响。另一种情况下，因为Kafka数据源可能在不同集群之间切换，这使得Flink SQL作业需要迁移到对应的集群，也需要在新的集群中安装Flink所有依赖的安装包，在一定程度上使得作业迁移流程更加繁琐。

由上可知，目前的Flink SQL作业提交方式过于依赖环境，导致Flink SQL作业提交的灵活性以及Flink SQL作业的可移植性较差。

发明内容

有鉴于此，本申请实施例提供了一种Flink SQL作业的提交方法、Flink SQL作业的提交装置、计算机设备及计算机可读存储介质，能够提高Flink SQL作业提交的灵活性以及Flink SQL作业的可移植性。

本申请实施例的第一方面提供了一种Flink SQL作业的提交方法，包括：

接收上述Flink SQL作业的上线请求；

调用待部署的大数据集群中的任务调度器；

根据上述上线请求触发上述任务调度器启动调度任务；

基于上述调度任务调用作业提交程序，以加载上述作业提交程序中所集成的安装包，其中，上述安装包为Flink所有依赖的安装包；

基于已加载的上述安装包，将上述Flink SQL作业提交至待部署的大数据集群中，以完成Flink SQL作业的无环境提交。

本申请实施例的第二方面提供了一种Flink SQL作业的提交装置，包括：

请求接收模块，用于接收上述Flink SQL作业的上线请求；

第一调用模块，用于调用待部署的大数据集群中的任务调度器；

任务启动模块，用于根据上述上线请求触发上述任务调度器启动调度任务；

第二调用模块，用于基于上述调度任务调用作业提交程序，以加载上述作业提交程序中所集成的安装包，其中，上述安装包为Flink所有依赖的安装包；

作业提交模块，用于基于已加载的上述安装包，将上述Flink SQL作业提交至待部署的大数据集群中，以完成Flink SQL作业的无环境提交。Flink SQL作业提交程序作业提交程序Flink SQL作业Flink SQL作业