[发明专利]实时数据任务的发布方法、装置、电子设备及存储介质

说明书

本申请适用于流计算技术领域，提供一种实时数据任务的发布方法、装置、电子设备及存储介质，方法包括：获取输入的任务发布请求，所述任务发布请求中包含业务逻辑语句；按照所述任务发布请求中的业务逻辑语句，对预设的任务发布模板中的查询变量进行赋值处理，以基于赋值后的任务发布模板生成实时数据任务；通过预设的命令行接口，将所述实时数据任务发布到资源管理集群上运行。上述方法通过任务发布模板发布作业，实现通过前端界面点击的方式发布作业，简化任务发布的流程，且通过采用查询变量赋值的方式生成实时数据任务，解决传统Flink SQL需要重复打jar包动作的问题，释放开发者的编译时间，使得任务发布变得简洁、高效。

技术领域

本申请涉及流计算技术领域，尤其涉及一种实时数据任务的发布方法、装置、电子设备及存储介质。

背景技术

实时数据处理是大数据行业十分重要的领域，克服了传统批处理的高延时，高吞吐的特点，实现了数据实时获取，实时计算，实时展示的能力。

现有的实时数据处理大多是结合产品需求，由资深的开发人员利用SparkStreaming、Flink等流计算框架开发出的功能单一、应用场景特定、应用模式特定的实时流计算应用。Flink基于其checkpoint、savepoint功能的实现，使其在流处理上具备高效、低延时、实时无边界计算的特性，因而，Flink在流数据上的处理能力比Spark Streaming在批处理上做流要更为高效、合理。但是，发明人发现，checkpoint、savepoint功能的实现增加了利用Flink进行数据处理的开发成本，让实时数据任务发布变得更加繁琐，而且实现实时作业从提交、启动、savepoint、checkpoint等一系列工作，大大地加长了实时数据任务发布的周期。

发明内容

有鉴于此，本申请实施例提供了一种实时数据任务的发布方法、装置、电子设备及存储介质，可以简化数据发布的流程，释放开发者的编译时间，提高作业调参的效率。

本申请实施例的第一方面提供了一种实时数据任务的发布方法，包括：

获取输入的任务发布请求，所述任务发布请求中包含业务逻辑语句；

按照所述任务发布请求中的业务逻辑语句，对预设的任务发布模板中的查询变量进行赋值处理，以基于赋值后的任务发布模板生成实时数据任务；

通过预设的命令行接口，将所述实时数据任务发布到资源管理集群上运行。

结合第一方面，在第一方面的第一种可能实现方式中，所述通过预设的命令行接口，将所述实时数据任务发布到资源管理集群上运行之前，还包括：

采用所述预设的任务发布模板中预配置的任务发布模式将所述实时数据任务发布到资源管理集群上运行，其中，所述预设的任务发布模板中预配置的任务发布模式按数据处理量配置为初始化发布模式、增量发布模式和正常发布模式。

结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，所述通过预设的命令行接口，将所述实时数据任务发布到资源管理集群上运行，包括：

判断所述实时数据任务是否为全量数据处理任务或第一次执行的数据处理任务，若是，则采用所述初始化发布模式发布所述实时数据任务；和/或

判断所述实时数据任务是否为按照Kafka消息队列执行的数据处理任务，若是，则采用所述正常发布模式发布所述实时数据处理任务。

结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述采用所述初始化发布模式发布所述实时数据任务之后，还包括：

判断所述实时数据任务是否初始化结束；