[发明专利]大数据任务的处理方法及系统、电子设备、存储介质

说明书

本发明公开了一种大数据任务的处理方法及系统、电子设备、存储介质。大数据任务的处理方法包括：将数据表和任务操作的脚本封装成不同的图形组件；所述任务操作的脚本用于对所述数据表进行分析处理；在接收到选择指令时，选择目标图形组件；拼接所述目标图形组件以生成所述大数据任务的流程图。本发明将数据表和任务操作的脚本封装成图形组件，用户通过选择、拼接图形组件即可完成大数据任务的开发，从而通过图形化和可视化简化了大数据任务的开发过程，极大地减小了编程代码的出错率，提高了大数据任务开发的效率。

技术领域

本发明涉及计算机技术领域，特别涉及一种大数据任务的处理方法及系统、电子设备、存储介质。

背景技术

大型电商通常都会建立自己的以Hadoop(一个分布式文件系统)为基础的大数据平台。每次营销活动，都要有评估报告，这些评估报告，都是执行大数据任务导出的。目前，大数据任务的开发，一般通过工程师编写代码实现，为了确保大数据任务能够符合要求，工程师需要在大数据编写完后对脚本进行调试处理。

现有技术中的这种大数据任务生成、调试方式存在如下问题：开发大数据任务的效率低，调试时间长且容易出错。另外，若工程师对大数据内部运行原理不熟悉，其编写的大数据任务，执行效率不高，执行时间长，还会导致Hive(一个数据仓库工具)表里存在好多小文件，造成整个集市效率低。

发明内容

本发明要解决的技术问题是为了克服现有技术中通过人工编程实现大数据任务的生成方式，开发效率低且容易出错的缺陷，提供一种大数据任务的处理方法及系统、电子设备、存储介质。

本发明实施例提供一种大数据任务的处理方法，所述处理方法包括：

将数据表和任务操作的脚本封装成不同的图形组件；所述任务操作的脚本用于对所述数据表进行分析处理；

在接收到选择指令时，选择目标图形组件；

拼接所述目标图形组件以生成所述大数据任务的流程图；

根据所述流程图依次执行所述目标图形组件的脚本，实现所述大数据任务的处理。

较佳地，所述流程图为有向无环图。

较佳地，所述处理方法还包括：

根据任务类型，生成任务模板；

拼接所述目标图形组件的步骤，具体包括：

在所述任务模板中拼接所述目标图形组件；

拼接所述目标图形组件的步骤之后，还包括：

在接收到脚本生成指令时，根据所述任务模板生成所述流程图的任务脚本。

较佳地，所述处理方法还包括：

获取调试规则配置；

根据所述调试规则配置调试所述任务脚本。

较佳地，所述图形组件包括：标签；

所述标签用于描述所述图形组件的功能和/或名称。

本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的大数据任务的处理方法。

本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的大数据任务的处理方法的步骤。

本发明实施例提供一种大数据任务的处理系统，所述处理系统包括：

封装模块，用于将数据表和任务操作的脚本封装成不同的图形组件；所述任务操作的脚本用于对所述数据表进行分析处理；