[发明专利]实时计算任务处理方法、装置、设备及存储介质

说明书

本申请实施例提供一种实时计算任务处理方法、装置、设备及存储介质，所述实时计算任务处理方法包括：根据用户输入的业务指令，获取对应的任务文件，所述任务文件包括SQL语句定义的预设配置信息；基于所述任务文件，生成实时计算任务；执行所述实时计算任务。本申请实现了降低实时计算任务开发难度，提高实时计算开发效率。

技术领域

本申请涉及大数据处理技术领域，具体而言，涉及一种实时计算任务处理方法、装置、设备及存储介质。

背景技术

Flink是一种集批量数据和流式数据处理的分布式计算框架，具有高吞吐和低延迟的特性。随着企业级对于实时数据要求的不断提高，越来越多的公司开始采用flink实时计算框架，但是，现有的实时计算平台缺乏完善的语法语义支持，难以满足实际应用中复杂多样的业务需求，开发代码难度比较大，对开发人员的要求比较高，开发效率低并且不具有普适性。

发明内容

本申请实施例的目的在于提供一种实时计算任务处理方法、装置、设备及存储介质，用以实现降低实时计算任务开发门槛，提高实时计算开发效率。

本申请实施例第一方面提供了一种实时计算任务处理方法，包括：根据用户输入的业务指令，获取对应的任务文件，所述任务文件包括SQL语句定义的预设配置信息；基于所述任务文件，生成实时计算任务；执行所述实时计算任务。

于一实施例中，所述根据用户输入的业务指令，获取对应的任务文件，包括：判断预设模板数据库中是否存在对应于所述业务指令的任务文件；当预设模板数据库中存在对应于所述业务指令的任务文件时，获取所述任务文件。

于一实施例中，所述根据用户输入的业务指令，获取对应的任务文件，还包括：当预设模板数据库中不存在对应于所述业务指令的任务文件时，获取用户配置信息，所述用户配置信息包括SQL语句定义的元数据信息、维表类型、维表加载策略和目标函数；基于所述用户配置信息，生成所述任务文件。

于一实施例中，所述基于所述任务文件，生成实时计算任务，包括：对所述任务文件中的SQL语句进行解析，得到多个语法树节点；基于预设语法规则，对所述语法树节点进行校验，生成语法树；将所述语法树转换成逻辑计划；基于预设优化规则，对所述逻辑计划进行优化；将优化后的所述逻辑计划转换成物理计划；基于所述物理计划，生成所述实时计算任务。

于一实施例中，所述对所述任务文件中的SQL语句进行解析，包括：通过正则匹配将所述SQL语句分为第一类型语句和第二类型语句；解析所述第一类型语句，得到原始数据源与flink内部表的第一映射关系；解析所述第二类型语句，得到原始数据源与flink内部表的第二映射关系；基于所述第一映射关系和第二映射关系，生成数据血缘图。

于一实施例中，在所述执行所述实时计算任务之后，还包括：监控所述实时计算任务的执行状态；当所述实时计算任务失败时，按照预设方式发送告警信息。

本申请实施例第二方面提供了一种实时计算任务处理装置，包括：获取模块，用于根据用户输入的业务指令，获取对应的任务文件，所述任务文件包括SQL语句定义的预设配置信息；生成模块，用于基于所述任务文件，生成实时计算任务；执行模块，用于执行所述实时计算任务。

于一实施例中，还包括：监控模块，用于监控所述实时计算任务的状态；告警模块，用于当所述实时计算任务失败时，按照预设方式发送告警信息。

于一实施例中，所述获取模块用于：判断预设模板数据库中是否存在对应于所述业务指令的任务文件；当预设模板数据库中存在对应于所述业务指令的任务文件时，获取所述任务文件。

于一实施例中，所述获取模块还用于：当预设模板数据库中不存在对应于所述业务指令的任务文件时，获取用户配置信息，所述用户配置信息包括SQL语句定义的元数据信息、维表类型、维表加载策略和目标函数；基于所述用户配置信息，生成所述任务文件。