[发明专利]一种可视化脚本编辑方法与装置

说明书

本发明提供了一种可视化脚本编辑方法与装置，涉及大数据分布式流式处理技术领域。通过接收一数据处理指令，再依据数据处理指令显示预存储的多个脚本语言与流引擎，然后依据一选择指令从多个脚本语言与流引擎选择目标脚本语言与目标流引擎，最后依据数据处理指令、目标脚本语言以及目标流引擎生成流计算脚本文件。本发明提供的可视化脚本编辑方法与装置具有方便技术人员操作，提高了流式处理开发效率的优点。

技术领域

本发明涉及大数据分布式流式处理技术领域，具体而言，涉及一种可视化脚本编辑方法与装置。

背景技术

分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析的过程，与MapReduce类似是一种通用计算框架，期望延迟在毫秒或秒级别。这类系统一般采用有向无环图(DAG)。DAG是任务链的图形化表示，用它来描述流处理作业的拓扑，目前比较主流的流式处理引擎Spark、Storm、Flink。

流式数据处理逻辑及流引擎需要根据实际业务需求结合才可发挥各类流引擎的自身价值。然而，在实际的业务场景中，由于技术人员的技术偏好不同，可能导致流处理开发效率较低。

有鉴于此，如何解决上述问题，是本领域技术人员关注的重点。

发明内容

有鉴于此，本发明的目的在于提供一种可视化脚本编辑方法，以解决现有技术中由于技术人员的技术偏好不同，导致流处理开发效率较低的问题。

本发明的另一目的在于提供一种可视化脚本编辑装置，以解决现有技术中由于技术人员的技术偏好不同，导致流处理开发效率较低的问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

一方面，本发明实施例提供了一种可视化脚本编辑方法，所述可视化脚本编辑方法包括：

接收一数据处理指令；

依据所述数据处理指令显示预存储的多个脚本语言与流引擎；

依据一选择指令从所述多个脚本语言与流引擎选择目标脚本语言与目标流引擎；

依据所述数据处理指令、所述目标脚本语言以及所述目标流引擎生成流计算脚本文件。

另一方面，本发明实施例还提供了一种可视化脚本编辑装置，所述可视化脚本编辑装置包括：

信息接收单元，用于接收一数据处理指令；

显示单元，用于依据所述数据处理指令显示预存储的多个脚本语言与流引擎；

选择单元，用于依据一选择指令从所述多个脚本语言与流引擎选择目标脚本语言与目标流引擎；

处理单元，用于依据所述数据处理指令、所述目标脚本语言以及所述目标流引擎生成流计算脚本文件。

相对现有技术，本发明具有以下有益效果：

本发明提供了一种可视化脚本编辑方法与装置，通过接收一数据处理指令，再依据数据处理指令显示预存储的多个脚本语言与流引擎，然后依据一选择指令从多个脚本语言与流引擎选择目标脚本语言与目标流引擎，最后依据数据处理指令、目标脚本语言以及目标流引擎生成流计算脚本文件。由于本发明提供的可视化脚本编辑方法与装置能够实现技术人员根据自己的技术偏好选用不同的脚本语言与流引擎，从而生成更适合技术人员需求的流引擎脚本，方便技术人员操作，提高了流式处理开发效率。同时，由于技术人员仅需要根据自己的喜好选择出脚本与流引擎，系统即自动生成流计算脚本文件，因此对于技术人员而言，其操作简单且易上手。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明